La première épouse de Jimmy Dean était Mary Sue Wittauer et sa deuxième épouse était Donna Meade. Son premier mariage s'est terminé par un divorce après 40 ans et son deuxième a duré 19 ans jusqu'à sa mort à l'âge de 81 ans, un couple mois avant son 82e anniversaire.
Dean et Wittauer ont eu trois enfants ensemble, mais il n'en a eu aucun avec sa seconde épouse, Donna. Moins d'un an après son divorce avec Wittauer, Dean a épousé Meade, qui était également chanteur et auteur-compositeur. Les deux vivaient à Varina, en Virginie, sur un domaine de 200 acres qui a été reconstruit après avoir été incendié dans un incendie.
