พระเจ้าเฟลิเปที่ 2 เป็นพระราชโอรสในสมเด็จพระจักรพรรดิชาลส์ที่ 5 (Charles, พ.ศ. 2043-พ.ศ. 2131) แห่งราชวงศ์ฮับสบูร์ก และอีซาแบลแห่งโปรตุเกส (Isabella of Portugal, พ.ศ. 2046-พ.ศ. 2082) ประสูติเมื่อวันที่ 21 พฤษภาคม พ.ศ. 2070 ที่เมืองบายาโดลิด (Valladolid) จักรพรรดิชาลส์ที่ 5 พระราชบิดาเป็นพระราชโอรสในพระเจ้าเฟลิเปที่ 1 แห่งกัสติยา (Philip I of Castile, พ.ศ. 2021-พ.ศ. 2049) และสมเด็จพระราชินีนาถฆัวนาแห่งกัสติยา (Joanna of Castile, พ.ศ. 2022-พ.ศ. 2098) ส่วนพระนางอิซาเบลลา พระราชมารดาเป็นพระราชธิดาในพระเจ้ามานูแวลที่ 1 แห่งโปรตุเกส (Emanuel of Portugal, พ.ศ. 2012-พ.ศ. 2064) และสมเด็จพระราชินีมาเรีย แห่งอรากอน (Maria of Aragon, พ.ศ. 2025-พ.ศ. 2060) พระขนิษฐาของพระนางโจแอนนา

ขณะทรงพระเยาว์ พระองค์ทรงได้รับการฝึกในเรื่อง “การวางพระองค์และศิลปะแห่งบุรุษ” (Deportment and Manly Arts) ทำให้ทรงรู้จักการวางพระองค์เป็นอย่างดี และยังโปรดการกีฬาและการล่าสัตว์อีกด้วย นอกจากนี้การศึกษาทำให้พระองค์ทรงเห็นความสำคัญของการเรียน ดังนั้นตลอดรัชสมัยของพระองค์จึงทรงให้ความสำคัญกับห้องสมุด ทั้งยังมีการสนับสนุนทุนเล่าเรียนในอาณาจักรของพระองค์อีกด้วย

พระเจ้าเฟลิเป 2 ทรงได้รับการแต่งตั้งจากพระราชบิดาให้เป็นผู้สำเร็จราชการแห่งอาณาจักรกัสติยา โดยพระราชบิดาทรงต้องการให้พระราชโอรสทรงเรียนรู้การปกครองที่ดี ทั้งจักรพรรดิชาลส์ที่ 5 ยังทรงสอนศาสตร์ด้านการปกครองให้กับพระราชโอรสอีกด้วย นอกจากนี้แล้วตั้งแต่ ค.ศ. 1548 พระเจ้าฟิลิปที่ 2 ได้เสด็จประพาสยังอิตาลีตอนเหนือ เยอรมนี และกลุ่มประเทศต่ำ (เนเธอร์แลนด์ เบลเยียม และลักเซมเบิร์ก) เพื่อเรียนรู้เกี่ยวกับสิ่งที่พระองค์จะทรงกระทำในอนาคต

จักรพรรดิชาลส์ที่ 5 ทรงสละราชสมบัติใน พ.ศ. 2099 และเสด็จไปประทับในอารามแห่งหนึ่งในแคว้นเอซเตรมาดูรา โดยจักรพรรดิชาลส์ที่ 5 ทรงแบ่งดินแดนของอาณาจักรออกเป็น 2 ส่วน

ส่วนแรก คือ ออสเตรีย โบฮีเมีย และฮังการี ทรงมอบให้พระอนุชา ซึ่งต่อมาทรงได้รับเลือกเป็นจักรพรรดิแห่งจักรวรรดิโรมันอันศักดิ์สิทธิ์ในพระนามสมเด็จพระจักรพรรดิเฟอร์ดินานด์ที่ 1 (Ferdinand I, พ.ศ. 2046-พ.ศ. 2107) ส่วนดินแดนที่เหลือ คือ ดินแดนกลุ่มประเทศต่ำและสเปน ทรงมอบให้พระราชโอรส คือ พระเจ้าเฟลิเปที่ 2 แต่ถึงแม้ว่าจักรพรรดิชาลส์ที่ 5 จะทรงสละราชสมบัติไปแล้วก็ยังทรงคอยให้คำแนะนำพระราชโอรสอยู่ จนกระทั่งสิ้นพระชนม์ใน พ.ศ. 2101