La principale chose négative dont on se souvient d'Andrew Jackson est la réinstallation forcée de nombreux Amérindiens, en particulier dans la partie sud-est des États-Unis. Il a également déclenché une dépression économique en refusant de renouveler la charte de la deuxième banque des États-Unis et en instituant ensuite des politiques de contrôle de l'inflation qui ont déclenché une panique, mais qui a été principalement imputée à son successeur, Martin Van Buren.
En 1830, Jackson a signé l'Indian Removal Act, qu'il s'était efforcé de faire adopter par le Congrès. Cet acte lui a permis de négocier des traités de suppression avec les tribus amérindiennes, dont la Cour suprême avait statué qu'elles n'étaient pas autorisées à posséder légalement leurs terres ancestrales. Jackson croyait que les Amérindiens étaient inférieurs aux colons blancs et voulait les forcer à l'ouest du Mississippi. Il croyait que les États-Unis ne dépasseraient pas cette frontière, afin que les Amérindiens puissent se gouverner eux-mêmes.
Le résultat a été que de nombreuses tribus ont été trompées ou forcées de quitter leurs terres si elles refusaient de s'y rendre volontairement, entraînant de nombreux décès dus à des escarmouches avec des soldats ainsi qu'à la famine et à la maladie. Les Cherokee en particulier ont été contraints de subir une marche forcée connue sous le nom de Trail of Tears. Ils ont été chassés de leurs terres si rapidement qu'ils n'ont pas été en mesure de rassembler des fournitures suffisantes et plus de 4 000 Cherokees sont morts de malnutrition et d'exposition. Jackson a supervisé le retrait de plus de 46 000 Amérindiens de leurs terres.
