La situation de logement d'un esclave dépendait de son travail et de la situation sociale de son propriétaire. Les familles de la classe moyenne avec peu d'esclaves laissent souvent les esclaves résider dans leurs maisons. Sur les plantations et autres grandes propriétés, les esclaves qui travaillaient dans les champs vivaient dans des maisons d'esclaves spéciales. Les cuisiniers et les servantes vivaient souvent dans les mêmes maisons que leurs propriétaires, généralement dans une arrière-salle ou un grenier.
Les compagnies de chemin de fer ont également utilisé des esclaves pour construire des chemins de fer. Comme les esclaves des plantations, ces esclaves avaient des conditions de vie épouvantables. Leurs lits n'étaient rien de plus que des planches de pin dures et inclinées avec une seule couverture. Les cabanes d'esclaves avaient des cheminées mal construites et n'étaient généralement pas très propres en raison des terribles heures de travail exigées des esclaves. Souvent, les esclaves étaient forcés de travailler de l'aube jusqu'à la nuit. De nombreux esclaves se sont effondrés à cause de l'épuisement. Leur nourriture était généralement préparée par un autre esclave, mais leurs rations étaient minces. Parfois, leur nourriture pour une journée entière n'était rien de plus que des navets et des pommes de terre.
Les propriétaires d'esclaves échangeaient souvent leurs esclaves contre de l'argent et des biens. À cause de cela, de nombreux esclaves, y compris de jeunes enfants, ont été séparés de leurs familles. Les esclaves domestiques arrangeaient souvent des mariages pour les enfants avec d'autres esclaves domestiques afin de perpétuer leur statut social moins onéreux.
