Andrew Jackson a eu diverses échauffourées avec John Calhoun d'origine sociale et politique. Jackson n'était pas d'accord avec la manière dont la femme de John Eaton, le secrétaire à la guerre de Jackson, était traitée par les femmes et les filles des officiers du cabinet, y compris la femme de Calhoun ; ils méprisaient la femme d'Eaton et cela rappelait à Jackson le traitement que sa propre femme, Rachel, avait reçu du même groupe. Politiquement, les deux hommes étaient en désaccord sur la question des droits des États, Calhoun et son parti des droits de l'État tentant de piéger Jackson pour qu'il soutienne leurs points de vue.
L'animosité personnelle entre Jackson et Calhoun tournait autour des mauvais traitements infligés à la femme de son secrétaire à la guerre. Ils ont également bavardé à son sujet. Cela a enflammé Jackson, car sa femme était également traitée comme une personne de classe inférieure par le même cercle social.
Lors d'une célébration de l'anniversaire de Thomas Jefferson en 1832, Calhoun et d'autres dans son camp ont porté des toasts pour tenter d'établir un lien entre l'annulation et la vision des droits des États sur le gouvernement. Jackson n'a pas participé, mais a plutôt porté un toast à l'union fédérale et a noté qu'elle devait être préservée, et a essentiellement humilié Calhoun, qui était son vice-président, publiquement. Calhoun a finalement démissionné de son poste de vice-président.
