Nació en Toledo, España el año 1925. Creció en una familia Católica. Durante su infancia sufrió la Guerra Civil Española, allí falleció su hermano Antonio llamado el Angel de Alcazar que murió con fama de santidad en 1936.
Fué ordenado sacerdote en 1953. Se dedicó al acompañamiento, dirección espiritual y formación en los Seminarios.
Maestro de vida espiritual. Llevó una intensa vida de oración, mortificación y estudio. Se dedicó a la dirección espiritual de personas de toda clase, condición y estado. Dirigió innumerables clases de ejercicios, pláticas y retiros espirituales.
Conocido como Padre de los pobres, se hizo mendigo en ayuda de los pobres y sus queridos gitanos.
En la navidad de 1988 se ofreció como víctima, Dios aceptó su ofrenda concediéndole la gracia que pedía. Tras un infarto cardíaco, José Rivera recibe la unción de los enfermos. Falleció el 25 de Marzo de 1991.
José donó su cuerpo a la facultad de Medicina de Madrid y fué devuelto a petición de Marcelo Gonzalez Martín, cardenal arzobispo de Toledo.
Actualmente su cuerpo se encuentra enterrado en la parroquia de Santo Tomé, Toledo.
En 1998 se abrió la etapa diocesana de canonización, que concluyó el año 2000. Desde el 2015 ha sido declarado Venerable.