Le premier mariage de Jim Boeheim, qui a duré environ 18 ans, a duré de 1976 à 1994. Sa première épouse était Elaine Boeheim, avec qui il a une fille, Elizabeth, maintenant junior au Colby College à Maine à partir de 2015.
Boeheim, l'actuel entraîneur-chef de l'équipe masculine de basket-ball de l'Université de Syracuse, est maintenant marié à Juli Boeheim, avec qui il a trois fils : James Arthur III et les jumeaux Jack et Jamie. Le couple est marié depuis 1997. Après que Boeheim ait souffert d'un cancer en 2001, ils ont fondé ensemble la Fondation Jim et Juli Boeheim, qui se consacre à la protection de l'enfance et au traitement et à la prévention du cancer.