เจ้าชายอัลเบิร์ตประสูติ ณ ปราสาทโรเซอเนา ใกล้กับเมืองโคบวร์ค (เมื่อก่อนอยู่ในดัชชีซัคเซินและปัจจุบันอยู่ในรัฐบาวาเรีย ประเทศเยอรมนี) โดยเป็นพระโอรสพระองค์ที่สองของแอนสท์ที่ 1 ดยุกแห่งซัคเซิน-โคบวร์คและโกทา กับพระชายาองค์แรกคือ เจ้าหญิงลูอีเซอแห่งซัคเซิน-โกทา-อัลเทินบวร์ค ในขณะที่เจ้าหญิงวิกตอเรียแห่งซัคเซิน-โคบวร์ค-ซาลเฟลด์ พระปิตุจฉาของเจ้าชายทรงอภิเษกสมรสกับเจ้าชายเอ็ดเวิร์ด ออกัสตัส ดยุกแห่งเคนต์ พระราชโอรสองค์ที่สี่ของพระเจ้าจอร์จที่ 3 แห่งสหราชอาณาจักร พระองค์เป็นพระชนนีในสมเด็จพระราชินีนาถวิกตอเรีย ดังนั้นเจ้าชายอัลเบิร์ตและพระชายาในอนาคตจึงเป็นพระญาติชั้นที่หนึ่งและประสูติในปีเดียวกัน

เจ้าชายอัลเบิร์ตและเจ้าชายแอนสท์ พระเชษฐาทรงใช้ชีวิตวัยเยาว์ในความเป็นเพื่อนอันสนิทสนม ซึ่งได้รับผลร้ายจากชีวิตคู่ที่วุ่นวายและการแยกกันอยู่ในท้ายสุดของพระชนกและพระชนนี ทั้งสองพระองค์ทรงเทิดทูนพระชนนีซึ่งเสด็จลี้ภัยออกจากราชสำนักและทรงถูกห้ามไม่ให้พบกับพระโอรสทั้งสองอีก และก็ได้สิ้นพระชนม์ด้วยพระโรคมะเร็งขณะมีพระชันษา 30 ปี ทั้งสองพระองค์ทรงได้รับการศึกษาที่ดี โดยทรงเข้าศึกษาที่มหาวิทยาลัยบอนน์เช่นเจ้าชายองค์อื่นๆ เจ้าชายอัลเบิร์ตทรงเลือกเรียนวิชาวิทยาศาสตร์ธรรมชาติ เศรษฐกิจการเมืองและปรัชญา นอกจากนั้นพระองค์ยังศึกษาวิชาดนตรี การวาดภาพ และทรงพระปรีชาในวิชาพลศึกษา โดยเฉพาะการฟันดาบ