Antes de Jacobo, el diestro tuvo otros tres hijos. Los dos primeros, fruto de su relación con Consuelo Alcalá: Gabriela y Jaime. Con su primogénita, sobre todo, tuvo una relación de altibajos. Es recordado el enfrentamiento que mantuvieron, hasta que en 2003, en el espacio 'Sabor a ti', presentado por Ana Rosa Quintana en Antena 3, el torero contactó en directo a su hija y le dijo: "Si quieres conocer a tu hermano Jacobo que tiene 18 años y no conoces, yo te espero en mi casa hoy para eso y además te digo que tu hermano Jaime acaba de llamar desde Miami y ha dicho que cuando tú estés en casa le llamemos. Te estamos esperando, un beso y hasta luego".
Hasta la mañana de este sábado, cuando el torero falleció a los 90 años, padre e hija mantuvieron una excelente relación. Gabriela, incluso, aseguró en un contacto con 'Viva la vida' que no hay reencores y calificó al sevillano como "un hombre bueno y extraordinario".
En 1992, de una relación extramatrimonial con Aurora Díaz nació su tercera hija, Gisela, a quien la justicia reconoció como legítima en 2003.