เมื่อวันที่ 13 กรกฎาคม ค.ศ. 1846 คาร์ลได้อภิเษกสมรสกับแกรนด์ดัชเชสโอลกา นีคะลายีฟนาแห่งรัสเซีย ธิดาของซาร์นิโคลัสที่ 1 และชาร์ล็อทเทอแห่งปรัสเซีย[2] (ชาร์ล็อทเทอเป็นพระราชธิดาของพระเจ้าฟรีดริช วิลเฮ็ล์มที่ 3 แห่งปรัสเซียและลูอีเซอแห่งเมคเลินบวร์ค-ชเตรลิทซ์ ; พระองค์ใช้ชื่ออเล็กซานดรา เฟโอโดรอฟนาในการอภิเษกสมรสในราชวงศ์รัสเซีย) คาร์ลขึ้นครองบัลลังก์เวือร์ทเทิมแบร์คเมื่อพระราชบิดาเสด็จสวรรคตในปี ค.ศ. 1864

ทั้งคู่ไม่มีพระราชบุตร อาจเป็นเพราะการรักร่วมเพศของคาร์ล[3] คาร์ลกลายเป็นเป้าหมายของเรื่องอื้อฉาวหลายครั้งเนื่องจากความใกล้ชิดกับผู้ชายหลายคน - ฉาวโฉ่ที่สุดกับชาวอเมริกันชาร์ลส์ วูดค็อกอดีตมหาดเล็กที่คาร์ล เลื่อนตำแหน่งเป็น บารอนในปี 1888[4][5] คาร์ลและชาร์ลส์กลายเป็นคนแยกกันไม่ออก ไปจนปรากฏตัวพร้อมกันในที่สาธารณะแต่งตัวเหมือนกัน เสียงโวยวายส่งผลให้คาร์ลต้องละทิ้งสิ่งที่เขาโปรดปราน วูดค็อกกลับมายังอเมริกา และคาร์ลพบการปลอบใจในอีกหลายปีต่อมากับวิลเฮ็ล์ม เกอร์คผู้อำนวยการด้านเทคนิคของโรงละครหลวง[3]

ในปี 1870 โอลกา และ คาร์ล รับเลี้ยงเวรา คอนสแตนตินอฟนา พระภาคิไนยของโอลกา ซึ่งเป็นพระธิดาของแกรนด์ดยุกคอนสแตนติน พระอนุชาของพระองค์