James Madison avait trois frères et trois sœurs qui ont vécu jusqu'à l'âge adulte : Francis, Ambrose, Nelly, William, Sarah et Frances. Ses parents ont eu un total de 12 enfants. Cinq des frères et sœurs de Madison sont décédés alors qu'ils étaient nourrissons ou enfants.
Le frère de Madison, Francis, était planteur dans le comté d'Orange, en Virginie. Son frère Ambrose était capitaine dans la milice de Virginie. Il était également planteur et supervisait les intérêts de la famille dans le comté d'Orange. William Madison a servi pendant la guerre d'indépendance. Il était également avocat et a siégé à la législature de Virginie. Les trois sœurs de Madison, Nelly, Sarah et Frances, se sont mariées à l'âge adulte.
