Les parents de James Madison étaient Nelly Conway Madison et le colonel James Madison, Sr. James Madison est né en 1751. James Madson, Sr. a épousé Nelly Conway en 1749, et le couple a eu 12 enfants. James, qui était le premier enfant né, était le quatrième président des États-Unis.
La famille Madison faisait partie des familles les plus anciennes et les plus prestigieuses de Virginie. Le père de Madison était un éminent producteur de tabac en Virginie qui a grandi dans un domaine à Orange Country, en Virginie, dont il a hérité plus tard. La mère de Madison était la fille d'un éminent marchand de tabac. Elle est née en 1731 en Virginie.