คุณหญิงพจมาน ณ ป้อมเพชร มีชื่อเล่นว่าอ้อ เป็นบุตรคนสุดท้องในจำนวน 4 คนของ พลตำรวจโท เสมอ ดามาพงศ์ อดีตผู้ช่วยอธิบดีกรมตำรวจ กับคุณหญิงพจนีย์ ณ ป้อมเพชร เธอมีพี่ชายสามคนคือ พงษ์เพชร ดามาพงศ์, พลตำรวจเอก เพรียวพันธ์ ดามาพงศ์ และ พลตำรวจโท นายแพทย์ พีระพงศ์ ดามาพงศ์ นอกจากนี้ยังมีพี่ชายบุญธรรมคือ บรรณพจน์ ดามาพงศ์

เมื่อแรกเกิด พจนีย์ตั้งชื่อให้ว่า "สร้อยเพชรพจมาน"[3] ต่อมาจึงลดลงเหลือเพียงพจมาน ในปี พ.ศ. 2513 บิดาและมารดาได้หย่ากัน โดยมารดากลับไปใช้นามสกุลก่อนสมรสคือ ณ ป้อมเพชร[4] พจมานมีอุปนิสัยเรียบร้อย พูดน้อย มีความเป็นระเบียบเช่นบิดา และมีใจเอื้ออารีเช่นมารดา[5]

บรรพชนทางฝ่ายบิดาของคุณหญิงพจมานอพยพมาจากจังหวัดหนองคาย เป็นทวดชื่อ ดา ดามาพงศ์ ต่อมาได้มาตั้งรกรากอยู่ในตำบลหนองโดน อำเภอจัตุรัส จังหวัดชัยภูมิ สมรสกับนางบุญมา มีบุตรชายชื่อสมิง (ที่ต่อมาคือ ร้อยตำรวจเอก จำปา) ซึ่งเป็นปู่ของคุณหญิงพจมาน[6] ส่วนบุรพชนฝ่ายมารดาสืบเชื้อสายมาจากพระยาไชยวิชิตสิทธิสาตรา (นาค) มีบุตรชายกับภริยานางหนึ่ง คือ พันตำรวจเอก พร้อม ณ ป้อมเพชร ซึ่งเป็นตาของคุณหญิงพจมาน[7][8]

อนึ่งคุณหญิงพจมาน เป็นเครือญาติกับสุชน ชาลีเครือทางฝ่ายบิดา[6] และเป็นญาติกับท่านผู้หญิงพูนศุข พนมยงค์ และพิมพ์เพ็ญ เวชชาชีวะทางฝ่ายมารดา[7][8]

คุณหญิงพจมานศึกษาชั้นอนุบาลจนถึงชั้นมัธยมศึกษาปีที่ 3 ที่โรงเรียนเซนต์โยเซฟคอนเวนต์ หลังจบมัธยมศึกษาปีที่ 3 พลตำรวจโทเสมอส่งคุณหญิงพจมานไปศึกษาต่อจบสำเร็จการศึกษาอนุปริญญาบริหารธุรกิจ มหาวิทยาลัยอีสเทิร์นเคนทักกี สหรัฐอเมริกา[5] ซึ่งการเดินทางไปศึกษาต่อของเธอนั้นเป็นแรงบันดาลใจให้ทักษิณสอบได้เป็นที่หนึ่งของรุ่น ได้รับทุนคณะกรรมการข้าราชการพลเรือน (ก.พ.) ไปศึกษาต่อปริญญาโทที่มหาวิทยาลัยอีสเทิร์นเคนทักกี สหรัฐอเมริกา[ต้องการอ้างอิง]