ท่านผู้หญิงละเอียด พิบูลสงครามเป็นบุตรคนโตในจำนวน 9 คนของเจริญ กับแช่ม พันธุ์กระวี เกิดที่ตำบลดอนพุทรา จังหวัดนครปฐม ครอบครัวเป็นตระกูลที่มีบรรดาศักดิ์ เพราะบิดาเป็นบุตรของขุนสุนทรลิขิต (กะวี) กับนางกอง มีปู่ทวดคือจ่าอัศวราช (ศรีจันทร์)[1] ละเอียดศึกษาชั้นต้นที่โรงเรียนสตรีวิทยา ต่อมาย้ายไปอาศัยที่จังหวัดพิษณุโลก เข้าศึกษาต่อที่โรงเรียนตัวอย่างประจำมณฑลพิษณุโลก (ปัจจุบัน คือ โรงเรียนพิษณุโลกพิทยาคม) ซึ่งเป็นโรงเรียนชายประจำจังหวัด แล้วย้ายไปศึกษาต่อที่โรงเรียนผดุงนารี

ท่านผู้หญิงละเอียด พิบูลสงคราม พบรักกับร้อยตรีแปลก ขีตตะสังคะ เมื่ออายุได้ 14 ปี และได้สมรสกันที่จังหวัดพิษณุโลก และได้ย้ายติดตามสามีเรื่อยมา มีบุตรธิดาด้วยกัน 6 คน คือ

1. พลตรี อนันต์ พิบูลสงคราม สมรสกับหม่อมหลวงพร้อมศรี สนิทวงศ์[2]
2. พลเรือโท ประสงค์ พิบูลสงคราม สมรสกับเรืองยศ เกตุนุติ
3. ร้อยเอกหญิง จีรวัสส์ ปันยารชุน (ชื่อเดิม: ผอบ[3]; 1 ตุลาคม 2464 – 6 มีนาคม 2560)[4] สมรสกับพันตรี ดร.รักษ ปันยารชุน[5]
4. รัชนิบูล ปราณีประชาชน สมรสกับพลตำรวจโทชูลิต ปราณีประชาชน (สกุลเดิม: หงสเวส)
5. พัชรบูล เบลซ์ สมรสกับเรือโทราล์ฟ เปอรอตตา และปีเตอร์ เบลซ์
6. นิตย์ พิบูลสงคราม (30 มิถุนายน 2484 – 24 พฤษภาคม 2557) สมรสกับพัชรินทร์ (นามเดิม: แพทริเชีย ออสมอนด์)

ท่านผู้หญิงละเอียด พิบูลสงคราม ถึงแก่อสัญกรรมเมื่อวันที่ 3 พฤษภาคม พ.ศ. 2527 สิริอายุได้ 80 ปี