James Spader et sa première épouse, Victoria Kheel, ont divorcé en 2004. Spader et Kheel se sont rencontrés au début des années 1980 et se sont mariés en 1987. Lors des entretiens qui ont suivi le divorce, Spader a refusé de discuter de la question et de la raison de la séparation du couple. le divorce est inconnu.
Spader et Kheel ont eu deux fils ensemble alors qu'ils étaient mariés. Ces deux-là s'ajoutent à l'enfant que Kheel a eu d'une relation précédente que Spader a aidé à élever après que lui et Kheel soient ensemble.
En 2014, Spader sortait avec l'actrice Leslie Stefanson pendant presque toute la décennie depuis son divorce avec Kheel. Spader et Stefanson ont un fils ensemble.
