พระวรวงศ์เธอ พระองค์เจ้าพีรพงศ์ภาณุเดช เป็นพระโอรสในสมเด็จพระราชปิตุลาบรมพงศาภิมุข เจ้าฟ้าภาณุรังษีสว่างวงศ์ กรมพระยาภาณุพันธุวงศ์วรเดช ประสูติแต่หม่อมเล็ก ภาณุพันธุ์ ณ อยุธยา (สกุลเดิม ยงใจยุทธ; ป้า (พี่สาวของพ่อ) ของพลเอก ชวลิต ยงใจยุทธ อดีตนายกรัฐมนตรีไทย) เมื่อวันที่ 15 กรกฎาคม พ.ศ. 2457 เมื่อแรกประสูติมีพระอิสริยยศที่ หม่อมเจ้าพีรพงศ์ภาณุเดช ทรงสำเร็จการศึกษาจากโรงเรียนเทพศิรินทร์ และเสด็จไปทรงศึกษาต่อที่วิทยาลัยอีตัน, มหาวิทยาลัยเคมบริดจ์ ประเทศอังกฤษ ก่อนเปลี่ยนไปทรงศึกษาด้านประติมากรรม ที่ Byam Shaw School of Art