Les murs extérieurs de la Maison Blanche sont faits de grès d'Aquia Creek peint en blanc qui a été extrait par des esclaves. C'est la même pierre qui a été utilisée pour construire le bâtiment du Capitole.
James Hoban a conçu la Maison Blanche après avoir remporté un concours organisé par Thomas Jefferson, alors secrétaire d'État, et le président George Washington en 1792. Hoban est né en Irlande et y a suivi une formation d'architecte. La légende raconte que Jefferson, lui-même architecte, a participé au concours sous un pseudonyme et a perdu. La Maison Blanche a été rénovée plusieurs fois depuis sa construction ; cependant, les murs extérieurs sont les mêmes murs qui ont été initialement construits.
