V roku 1909 zomrela Stalinova prvá manželka Jekaterina Svanidzeová. Táto smrť bola pre neho veľkou stratou. Nie je naklonený prejavom emócií a ešte viac pestrým obratom reči, už nie mladý revolucionár hovoril o chladnom kameni, ktorý mu vstúpil do srdca. Ktovie, ako by sa vyvíjali svetové dejiny, keby tento ľadový a tvrdý predmet nerozdrvil hruď budúceho lídra najväčšej krajiny sveta? Konjunktívne nálady sú však tejto vede cudzie.
Z jeho milovanej manželky bol syn Jacoba, ešte len dieťa. Otec nemal čas starať sa o jeho výchovu, mal iné veci na práci. Chlapec vyrastal so svojou babičkou, matkou Ekaterinou (Kato) v Tbilisi, potom študoval v Moskve - najprv v škole a potom na vysokej škole v elektrotechnike. Ťažko opísať vzťah medzi synom a otcom a materiálov, ktoré o nich svedčia, je veľmi málo. Fakty hovoria o neúspešnom pokuse o samovraždu kvôli nešťastnej láske. Výstrel do hrude Jacobov otec nahnevane odsúdil a dom mu bol fakticky odopretý.
Či sovietsky diktátor miloval svojho najstaršieho syna, ťažko povedať. Celá krajina obdivovala odvahu Stalina, ktorý odmietol zachrániť nadporučíka Džugašviliho, ktorý bol zajatý pri Vitebsku, a prakticky ho odsúdil na smrť. Na druhej strane všetkorokov po smrti svojho syna vodca svetového komunistického hnutia nosil pod tunikou čierne tričko na znak smútku, skrytého, ako vo svojom živote veľa.
Stalinova druhá manželka, Nadežda Sergejevna Allilujevová, bola o pätnásť rokov mladšia ako jej manžel. Dcéru profesionálneho revolucionára zaujala podoba romantickej bojovníčky, ktorá sa vrátila z exilu po februárovej revolúcii. Mala vtedy len šestnásť rokov a budúca generálna tajomníčka Ústredného výboru Všezväzovej komunistickej strany boľševikov mala tridsaťosem.
Aktívna životná pozícia, neskúsenosť, naivita a náklonnosť k revolučnému romantizmu rozčuľovali jej manžela usilujúceho sa o moc a moc.
Jej osobná skromnosť dosiahla extrém – mnohí kolegovia a šéfovia organizácií, v ktorých Nadežda Allilujevová pracovala, ani nevedeli, že je Stalinovou manželkou. V roku 1921 ju chceli dokonca vylúčiť zo strany, obvinili ju z pasivity a anarchosyndikalizmu (vtedy bolo módou vešať na človeka všelijaké „izmy“), no manžel sa postavil. A Nadyusha nepracovala len tak kdekoľvek, ale v sekretariáte Lenina, Pravdy a redakcie Revolúcie a kultúry a dokonca študovala na Priemyselnej akadémii. Ani učitelia, ani študenti tam tiež nevedeli, že vedľa nich je Stalinova žena.
Mali dve deti, syna Vasilija v roku 1921 a dcéru Svetlanu v roku 1926. O živote druhej rodiny Josepha Vissarionoviča sa vie oveľa viac ako o prvej. To sa podarilo vďaka knihe „Dvadsať listov priateľovi“, ktorá vyšla v roku 1967 na Západe. Dcéra kremeľského diktátora prezradila mnohé tajomstvá a do detailovopísal svoj život.
Stalinova druhá manželka spáchala za záhadných okolností samovraždu po bankete u Vorošilovcov pri príležitosti 15. výročia októbrovej revolúcie. Manžel sa pri stole správal neslušne a to mohlo vyprovokovať samovraždu. Verzií udalostí bolo niekoľko, od zapojenia Nadeždy Allilujevovej do protivládneho sprisahania až po neustále bolestivé migrény, ale pravda už nie je známa.
Na hrobe Stalinovej manželky bol postavený pomník, veľmi krásny a výrazný. Okrem mena, priezviska a dátumov je na ňom uvedená stranícka príslušnosť: „člen CPSU (b)“.
