Bien que George Washington ait choisi le site de la Maison Blanche en 1791, il n'y a jamais vécu. En 2014, il est le seul président à ne pas résider à la Maison Blanche.
John Adams et sa famille ont été la première famille présidentielle à vivre à la Maison Blanche. En 1814, les Britanniques mirent le feu à la maison ; il a été reconstruit. En 1817, James Monroe emménagea. Harry S. Truman commença la restauration de la Maison Blanche et retourna à la Maison Blanche en 1952.
Sous certains présidents, la Maison Blanche a connu des travaux de construction qui n'ont pas obligé la Première Famille à déménager. Theodore Roosevelt a fait déménager les bureaux du président dans l'aile ouest et William Howard Taft a fait construire le bureau ovale.
