Nació el P. Caballero Rubio en Alájar (Huelva) el 28 de octubre de 1895. Fue bautizado dos días más tarde en la Iglesia Parroquial de San Marcos Evangelista, única existente en la villa. Le impusieron los nombres de Mariano, Juan y Simón. Sus padres fueron José Caballero Barbudo, propietario, y María Belén Rubio Pérez.

El 27 de noviembre de 1918, con 23 años, solicitó su ingreso en el Seminario de Sevilla como alumno interno. Aportaba en el momento de su matriculación los estudios de Latinidad y Filosofía realizados en el Seminario General y Pontificio de Comillas (donde, según el certificado que adjuntaba, había observado buena conducta moral, religiosa y disciplinaria). En 1924 concluyó sus estudios al aprobar quinto curso de Sagrada Teología.

El 22 de diciembre de 1923, con 28 años, fue Ordenado Presbítero. Todos los encargos parroquiales los desempeñó en la provincia de Huelva. En marzo de 1924 fue nombrado Ecónomo de la Parroquia de San Antonio Abad de Carboneras y Capellán de las Religiosas Dominicas de Aracena. En junio de 1928 en la Parroquia de San Juan Bautista de Linares de la Sierra; como una dolencia gástrica le obligaba a frecuentes convalecencias y petición de licencias para buscar su restablecimiento, solicitó su traslado a lo que accedió el cardenal Ilundain al nombrarlo en marzo de 1930 Coadjutor de la Parroquia de la Purísima Concepción de Huelva. Finalmente, en mayo de 1934 fue nombrado Coadjutor de la Parroquia de San Pedro, también en Huelva, cargo en el que se mantuvo hasta su muerte martirial el 23 de julio de 1936.

En la ciudad de Huelva se respiraba un ambiente antirreligioso radical. Los sucesos de mayo de 1931, con su expresión más virulenta en los incendios de templos y conventos de Madrid, Barcelona, Málaga y Sevilla, tuvieron en vilo al entonces Arcipreste de Huelva: por prudencia y consejo incluso de enemigos de la Iglesia –según confesión propia- abandonaron sus residencias las Agustinas (clausura), Teresianas, Adoratrices y Hermanas de la Cruz siendo hospedadas, sin hábito aquellas que lo tenía, entre amistades; otro tanto se hizo con los PP. Agustinos de la capital, repartidos en varios pueblos cercanos. Incluso la Guardia Civil fue requerida en prevención para la defensa de la Parroquia de la Concepción. Los sucesos más graves entonces se produjeron en la Iglesia del Sagrado Corazón, invadida por el gentío, lo que obligó al sacerdote a retirar el copón; cuando la turba le vio con algo oculto salió tras él alcanzando a rasgarle la sotana aunque pudo finalmente escapar. Una orden gubernamental señaló que todos estos edificios religiosos serían destinados a escuelas laicas. La situación no fue a mayores de momento pero recrudeció en vísperas de la contienda fraticida. En los primeros días de julio de 1936 fueron saqueados e incendiados numerosos edificios religiosos, templos y conventos, de la ciudad de Huelva y pueblos como Trigueros, Beas, San Juan del Puerto, Cartaya y otros; lo poco que quedó sucumbió al poco.

La Parroquia de San Pedro fue saqueada y quemados sus enseres en la vía pública el 21 de julio. Todo el clero local, al igual que las comunidades religiosas, buscó refugio entre amigos y conocidos. Los violentos buscaron al P. Caballero Rubio en su residencia por lo que marchó a refugiarse con una familia en Punta Umbría (entonces pedanía de Cartaya, próxima a la capital). Allí le prendieron “con todo aparato de chusma y vocerío” en la mañana del 22 de julio. Por la tarde fue conducido entre multitud armada a una lancha en la que, junto al Coadjutor de Cartaya, llegaron al muelle de Huelva donde, al subir a un taxi para su traslado a la cárcel, un mozalbete de escasos años le dio un tiro por la espalda; el de Cartaya pudo esquivar una acción similar que pretendía llevar a cabo otro joven. Llevado a la Casa de Socorro y hecha la primera cura fue trasladado al Hospital donde murió como consecuencia de las hemorragias producidas en las primeras horas del 23 de julio de 1936 dando muestras en todo momento de entereza y resignación. No consintieron llamar a un sacerdote, como insistentemente pedía.

Fue enterrado en el Cementerio de Huelva. En 1938 se instaló una lápida en su recuerdo en la Parroquia de San Pedro de Huelva de la que había sido Coadjutor.