Le passe-temps favori d'Andrew Jackson était les courses de chevaux et l'élevage de chevaux. Il a possédé de nombreux chevaux de course au cours de sa vie et les a souvent courus avant et après être devenu président. Il a également élevé des coqs de chasse et a inscrit ses oiseaux dans les combats de coqs autour de Nashville.
Andrew Jackson aimait aussi une bonne blague pratique. Alors qu'il était étudiant en droit à Salisbury, en Caroline du Nord, Jackson a été choisi pour gérer le bal de Noël annuel, un événement annuel de grande importance dans la petite ville de Caroline du Nord. Pour plaisanter, il a invité deux prostituées au bal, bien que peu de personnes présentes aient trouvé le geste aussi drôle que Jackson.
Il était un lecteur avide de journaux et de romans. Son livre préféré était "Vicar of Wakefield" d'Oliver Goldsmith. Andrew Jackson maintenait une grande collection de pipes du monde entier mais fumait rarement autre chose que sa pipe en épi de maïs. Il a affirmé qu'il préférait le goût de la pipe frontalière brute à toutes les pipes sophistiquées qu'il avait acquises au fur et à mesure qu'il accédait à la notoriété internationale.
La profession de Jackson était la politique, mais cela pouvait aussi être considéré comme l'un de ses principaux passe-temps. Après avoir quitté la présidence en 1836, il est resté très actif politiquement depuis son domicile de Nashville. Il a joué un rôle majeur dans l'élection de Martin Van Buren et James K. Polk à la Maison Blanche avant sa mort en 1845.
