Beaucoup de gens voient le plus grand échec de Thomas Jefferson dans l'abandon de son combat contre l'esclavage. Alors qu'il considérait l'esclavage comme "une tache hideuse" sur l'humanité et a fait plusieurs tentatives pour son abolition, il l'a finalement donné en place, décidant de ne livrer que les batailles qu'il pouvait gagner.
En effet, en tant qu'auteur principal de la Déclaration d'indépendance, Jefferson a inclus une clause dénonçant l'esclavage, mais elle a été rejetée avant que le document ne puisse être approuvé. Bien que le fait soit encore souvent contesté, la présidence de Jefferson a été encore plus endommagée par l'affirmation selon laquelle il était le père de cinq enfants de l'esclave Sally Hemings. Enfin, l'institution par Jefferson de la loi sur l'embargo, destinée à interrompre les hostilités entre la Grande-Bretagne et la France, a paralysé l'économie du Sud, aliénant les partisans qu'il avait quittés.
