คาร์ล ฟิลลิพเกิดที่กรุงเวียนนา เขาเป็นลูกชายของโยฮัน เนโพมุค อันโทน แห่งชวาร์ทเซินแบร์ค และมารี เอเลโอโนเรอ เคาน์เตสแห่งตระกูลเอิททิงเงิน-วัลเลอร์ชไตน์ เขาเป็นหนึ่งในสิบสามพี่น้อง อีกเจ็ดคนตายตั้งแต่วัยเยาว์

เขาเข้ารับราชการในสังกัดทหารม้าในปี ค.ศ. 1788 ปีต่อมาเขาได้อยู่ในสังกัดนายพลฟรันทซ์ โมริทซ์ ฟ็อน ลาซี และนายพลแอ็นสท์ กีเดอ็อน ฟ็อน เลาด็อน เพื่อต่อสู้กับทหารเติร์ก

ค.ศ. 1796 ช่วงสงครามปฏิวัติฝรั่งเศส เขาต้องออกรบในยุทธการที่อัมแบร์คและยุทธการที่เวือทซ์บวร์ค ต่อมาในปี ค.ศ. 1799 ได้รับยศเป็นพลโท ในยุทธการที่โฮเอินลินเดิน เขาได้นำทหารส่วนหนึ่งไปที่ทางปีกขวาของกองทัพออสเตรียที่ถูกทหารฝรั่งเศสโจมตีอย่างกล้าหาญ หลังจากนั้นเขาได้รับคำสั่งจากอาร์ชดยุคคาร์ลให้ไปประจำกับกองหลัง

ค.ศ. 1804 เขาจึงได้รับยศเป็นเจ้าชายแห่งชวาร์ทเซินแบร์ค

ค.ศ. 1805 เขาได้เป็นผู้บัญชาการทหารประจำกองพลของนายพลคาร์ล มัค ฟ็อน ไลเบอริช ตอนที่เมืองอุล์มถูกปิดล้อมโดยกองทัพของนโปเลียน เขาเป็นหนึ่งในกลุ่มทหารม้าใต้สังกัดของอาร์ชดยุคเฟอร์ดินานด์แห่งออสเตรีย-เอสเตซึ่งตัดเส้นทางการเดินทัพของศัตรู

ค.ศ. 1806-1809 เขารับตำแหน่งเป็นเอกอัครราชทูตออสเตรียประจำรัสเซีย แต่ว่ารับตำแหน่งได้ไม่นานก็ต้องรีบกลับบ้านเกิดเพื่อทำศึกในวากรัม แต่ฝ่ายออสเตรียพ่ายแพ้ จึงทำให้ต้องประสานมิตรกับฝรั่งเศสและทำให้นโปเลียนได้สมรสกับองค์หญิงมารี หลุยส์

ค.ศ. 1812 นโปเลียนได้ขอร้องให้เจ้าชายคาร์ลไปช่วยทำการบุกรัสเซีย

ค.ศ. 1813 เมื่อฝรั่งเศสพ่ายแพ้จากการบุกรัสเซีย ทำให้เกิดสงครามสหสัมพันธมิตรครั้งที่หกขึ้นมา และคาร์ล ฟิลลิพได้บัญชาการรบในยุทธการที่ไลพ์ซิชกับยุทธการที่ปารีส และมีบทบาทในสมัยร้อยวันและออกรบในยุทธการวอเตอร์ลู