Les frères et sœurs du président James Madison comprennent le général William Taylor Madison ; le capitaine William Ambrose Madison, Sr. ; Eleanor "Nellie" Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor Madison ; Robert Cole Madison ; Sarah Catlett Madison ; Elizabeth Madison ; Catlett Madison ; Ruben Madison ; et John Madison. Deux de ses frères et sœurs sont morts en bas âge.
Le président Madison est né James Madison, Jr., premier-né de James Madison, Sr., et de Nelly Conway Madison. James a passé sa petite enfance à Montpellier, son domaine familial en Virginie. À l'âge de 12 ans, il entre à l'école de Donald Robertson, où il apprend le latin et le grec et étudie l'arithmétique et la géographie. Il a obtenu son baccalauréat au College of New Jersey.
