La crème glacée est arrivée à la Maison Blanche par l'intermédiaire des Européens, lorsque des membres de familles royales ont présenté aux Américains de la haute société cette friandise crémeuse dans les années 1700. La crème glacée est apparue à la Maison Blanche aux côtés du premier président, George Washington. Cependant, il a gagné en popularité auprès du quatrième président James Madison et de son épouse Dolly, qui avaient une affinité pour la crème glacée.
Bien que maintenant un régal populaire parmi les Américains de toutes les classes socio-économiques, la crème glacée était autrefois chère et relativement rare, ce qui en fait un dessert pour les citoyens riches. En Europe, la crème glacée sous sa forme moderne n'a même pas atteint les masses avant les années 1600, lorsqu'elle est apparue en Italie. Dans les années 1700, cependant, la crème glacée et d'autres nouveautés surgelées, telles que la glace et le sorbet, jouissaient d'une grande popularité parmi les aristocrates européens. La friandise glacée a trouvé le chemin des États-Unis au début des années 1700 et le premier magasin de crème glacée a ouvert ses portes en 1790. La Maison Blanche et de nombreux domaines avaient même des machines à crème glacée internes.
À l'époque coloniale, la crème glacée se déclinait en différentes saveurs. Certains, comme les asperges, le parmesan et la crème glacée aux huîtres, étaient populaires auprès des familles de la Maison Blanche, y compris les Madisons, mais n'ont jamais été largement acceptés. D'autres, comme la glace à la vanille, restent très populaires, tout comme les garnitures telles que les baies et la crème.