Les passe-temps d'Albert Einstein étaient la voile, la lecture et le violon et le piano. Il a également écrit des carnets de voyage qui sont maintenant conservés aux Archives Albert Einstein à Jérusalem.
Einstein a possédé plusieurs voiliers au cours de sa vie. Il en garda un à Caputh, en Allemagne, qui fut saisi avec son chalet en 1933 lorsque les nazis prirent le pouvoir. Lorsqu'il vivait aux États-Unis, il possédait un voilier appelé Tinnef.
Einstein aimait lire et aurait déclaré que "Traktat" de David Humes avait eu une grande influence sur lui. Il aimait les classiques, tels que Don Quijote de Cervantes Saavedra et les livres à tendance scientifique, dont « Energy and Matter » de Ludwig Büchners et « Natural-Scientific Popular Books » d'Aaron Bernstein. Il a également lu des livres des philosophes Spinoza et Schopenhauer.
Einstein a commencé à prendre des cours de violon dès son plus jeune âge, découvrant Mozart à 13 ans. Il était connu pour jouer pour des amis, dans de petits rassemblements ou avec son ami, le physicien Max Planck. Einstein aimait jouer du violon, bien que les opinions diffèrent sur son niveau de talent. Selon un livre de Ze'ev Rosenkranz, Einstein était modeste quant à ses capacités mais aimait toujours jouer. En vieillissant, il s'est tourné vers le piano parce qu'il n'aimait plus la façon dont il jouait du violon. Hormis Mozart, ses compositeurs préférés étaient Bach, Vivaldi, Corelli et Schubert. Il a été cité comme disant qu'il serait probablement devenu musicien s'il n'était pas devenu physicien.