ในประวัติศาสตร์ ชายทั่วโลกมีภริยาลับเป็นจำนวนมากเสมอ และในปัจจุบัน ผู้ชายบางส่วนก็ยังนิยมมีภรรยาลับอยู่เช่นเดิม

จุดเริ่มต้นของภริยาลับนั้น หญิงมักเป็นฝ่ายเสนอตัวให้แก่ชายเองไม่ว่าจะเสนอด้วยตนเองหรือเป็นการเตรียมการให้โดยครอบครัวของนางเอง[ต้องการอ้างอิง] ส่วนการเป็นภริยาลับอย่างไม่สมัครใจหรือเพราะถูกบังคับ เช่น ถูกครอบครัวบังคับให้ไปเป็นภริยาเขาเพื่อใช้หนี้ ประเภทนี้ศัพท์ทางวิชาการเรียกว่า "ทาสกามารมณ์" (อังกฤษ: sexual slavery) แต่ต่อมาภริยาลับก็มีขึ้นจากหลาย ๆ สาเหตุ ทั้งเพราะหญิงนั้นพอใจจะอยู่กินกับสามีของผู้อื่นเนื่องจากต้องการมีความเป็นอยู่ที่ดี เรียกว่าเป็นเหมือนหญิงโสเภณีก็ไม่ปาน หรือถูกฝ่ายชายหลอกล่อด้วยประการใด ๆ ก็ดี เป็นต้น

กฎหมายโรมันโบราณ และกฎหมายจีนโบราณ ยอมรับสถานะทางกฎหมายของภริยาน้อย แต่ไม่ได้เท่าเทียมกับสถานะทางกฎหมายของภริยาหลวง กฎหมายไทยเองก็ยอมรับเช่นกัน โดยปรากฏในพระอัยการหรือรัฐธรรมนูญของโบราณซึ่งต่อมาในรัชกาลที่ 1 กรุงรัตนโกสินทร์มีการชำระและรู้จักกันในชื่อ "กฎหมายตราสามดวง" แบ่งภริยาออกเป็นสามประเภท คือ

1. เมียกลางเมือง คือ หญิงอันบิดามารดาหรือญาติซึ่งมีอำนาจปกครองดูแลยินยอมยกให้แก่ฝ่ายชายโดยถูกต้องตามประเพณี เรียกว่า "ภริยาหลวง" นั่นเอง

2. เมียกลางนอก คือ หญิงที่ชายขอมาเลี้ยงดูเป็นอนุภรรยา มีฐานะเป็นรองหลั่นจากภริยาหลวงลงมา

3. เมียกลางทาสี คือ หญิงทุกข์ยากที่ชายช่วยไถ่ตัวมาและรับเลี้ยงดูเป็นเมีย มีฐานะหลดหลั่นจากสองประเภทแรกมาก

มีข้อสังเกตว่าอนุภริยาในสังคมไทยโบราณไม่จำเป็นต้องปกปิดไว้เป็น "ภริยาลับ" เหมือนปัจจุบัน เพราะโบราณกฎหมายยอมรับให้มีได้ไม่ผิดกฎหมาย แต่ปัจจุบันห้ามการสมรสซ้อน (อังกฤษ: bigamy หรือ plural marriage) เป็นความผิดอาญา

ส่วนในพระธรรมปฐมกาล วรรคที่ 16 และวรรคที่ 21 แห่งคัมภีร์ไบเบิล กล่าวว่า นางซาราห์ภริยาของอับราฮัมได้จัดส่งนางทาสชื่อ "ฮาการ์" ไปเป็นภริยาลับของสามี เพราะตัวนางเป็นหมัน นางฮาการ์นั้นเมื่อตั้งครรภ์และคลอดบุตรชายชื่อ "อิชมาเอล" ก็จองหองพองขน ดูถูกนายหญิงของตนต่าง ๆ แต่ต่อมาเกิดปาฏิหาริย์แก่นางซาราห์ โดยนางสามารถคลอดบุตรของตนได้เมื่ออายุหนึ่งร้อยปีอันเป็นวัยใกล้ฝั่งแล้ว นางฮาการ์และอิชมาเอลจึงถูกขับไล่ออกจากครอบครัวนับแต่นั้น บุตรของนางซาราห์คือ "อิสอัค"

ทั้งนี้ แต่โบราณมาแล้ว กฎหมายของทางตะวันตกไม่ยอมรับการมีอนุภรรยาเด็ดขาด และปัจจุบันชาวตะวันตกก็ถือคติเช่นนั้น