จักรพรรดิโกะ-ชิระกะวะ ประสูติเมื่อ ค.ศ. 1127 เป็นพระโอรสองค์ที่ 4 ในอดีตจักรพรรดิโทะบะ และฟุจิวะระ โนะ โชชิ หรือพระพันปีไทเค็งมง-อิน ผู้เป็นธิดาของไดนะงงฟุจิวะระ คินซะเนะ มีพระนามว่า เจ้าชายมะซะฮิโตะ (雅仁親王) มีพระเชษฐาร่วมพระมารดาคือ พระจักรพรรดิซุโตะกุ เจ้าชายมะซะฮิโตะทรงเข้าพิธีเง็มปุกุเมื่อ ค.ศ. 1139 และอภิเษกสมรสกับมินะโมะโตะ โนะ อิชิ (源懿子) ประสูติพระโอรสองค์แรกคือ เจ้าชายโมะริฮิโตะ (守仁親王) เมื่อ ค.ศ. 1143 พระชายะอิชิสิ้นพระชนม์หลังประสูติพระโอรสไม่นาน

ในเวลานั้นอำนาจปกครองของราชสำนักนครเฮอังเกียวอยู่ที่องค์อดีตพระจักรพรรดิโทะบะ ตามระบบอินเซ อดีตจักรพรรดิมีพระประสงค์จะให้พระโอรสที่ประสูติกับ ฟุจิวะระ โนะ นะริโกะ พระสนมองค์โปรดขึ้นเป็นจักรพรรดิ จึงทรงบังคับให้จักรพรรดิซุโตะกุ (ซึ่งทรงถูกกล่าวหาว่ามิใช่พระโอรสของจักรพรรดิโทะบะ แต่เป็นโอรสของจักรพรรดิชิระกะวะที่ทรงแอบมีความสัมพันธ์กับพระนางไทเค็งมง-อิน) สละราชบัลลังก์ใน ค.ศ. 1141 ให้แก่จักรพรรดิโคะโนะเอะอันประสูติแต่พระสนมนะริโกะ

แต่จักรพรรดิโคะโนะเอะอยู่ในราชสมบัติได้สิบสามปี ก็สวรรคตลงใน ค.ศ. 1155 อดีตจักรพรรดิซุโตะกุทรงคาดหวังให้พระโอรสของพระองค์เองสืบทอดราชบัลลังก์ แต่ทว่าพระสนมนะริโกะได้เสนอให้พระโอรสบุญธรรมของพระนาง คือ เจ้าชายโมะริฮิโตะ พระโอรสของเจ้าชายมะซะฮิโตะซึ่งพระมารดาได้สิ้นพระชนม์ไปจึงไปเป็นโอรสบุญธรรมของสนมนะริโกะ แต่ทว่าเจ้าชายโมะริฮิโตะยังทรงพระเยาว์ จึงให้บิดาคือเจ้าชายมะซะฮิโดะขึ้นครองราชสมบัติไปก่อน เป็น จักรพรรดิโกะ-ชิระกะวะ เมื่อ ค.ศ. 1155