สมรสกับนางทองขาว มีบุตรธิดารวม 5 คน ได้แก่ เบญจมินทร์, มณเฑียร, ขวัญทิพย์, มณฑล และอาริยา ไม่เคยมีบ้านเป็นของตนเองแม้แต่หลังเดียว จนกระทั่งในช่วงบั้นปลายชีวิต เขาได้ขอเจียดที่ดินเจ้าของที่ดินย่านคลองประปา เจ้าของร้านข้าวแกงที่เขาติดอกติดใจ ปลูกบ้านหลังเล็กๆ บนพื้นที่ขนาด 3 คูณ 4 เมตร เพื่อใช้อาศัยอยู่ตามลำพัง แยกจากครอบครัว แม้ว่าตัวเองจะป่วยเป็นอัมพฤกษ์