สมเด็จพระราชปิตุลาบรมพงศาภิมุข เจ้าฟ้าภาณุรังษีสว่างวงศ์ กรมพระยาภาณุพันธุวงศ์วรเดช เป็นพระราชโอรสในพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ที่ประสูติแต่สมเด็จพระเทพศิรินทราบรมราชินี พระองค์ประสูติเมื่อวันพุธ เดือนยี่ แรม 4 ค่ำ ปีมะแม เอกศก จุลศักราช 1221 ตรงกับวันที่ 11 มกราคม พ.ศ. 2402[14] (นับแบบปัจจุบันตรงกับปี พ.ศ. 2403) ณ พระตำหนักที่ประทับเดิมของสมเด็จพระศรีสุลาไลย ภายในพระบรมมหาราชวัง สมเด็จพระบรมชนกนาถทรงพระกรุณาโปรดเกล้าฯ ให้จัดการสมโภชขึ้นเมื่อพระชันษาได้ 3 วัน และสมโภชเดือน ตามลำดับ ณ พระตำหนักที่ประสูติ

พระองค์มีพระโสทรเชษฐาและพระโสทรเชษฐภคินีรวม 3 พระองค์ ได้แก่ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าจันทรมณฑล โสภณภควดี กรมหลวงวิสุทธิกระษัตริย์ และสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าจาตุรนต์รัศมี กรมพระจักรพรรดิพงษ์

เมื่อพระชันษาได้ 2 ปี พระมารดาเสด็จสวรรคต ต่อมาพระบิดาเสด็จสวรรคตขณะพระชันษาได้ 10 ปี พระองค์เป็นผู้โปรยข้าวตอกในกระบวนแห่พระบรมศพพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวโดยมีสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าจาตุรนต์รัศมี กรมพระจักรพรรดิพงษ์เป็นผู้โยง

เมื่อพระชันษาได้ 12 ปี พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงพระกรุณาโปรดเกล้าฯ ให้มีการแห่รับพระสุพรรณบัฏเป็น สมเด็จพระเจ้าน้องยาเธอ เจ้าฟ้าภาณุรังษีสว่างวงศ์ และโปรดเกล้าฯ ให้มีพระราชพิธีโสกันต์ ณ พระที่นั่งดุสิตมหาปราสาท เมื่อพระองค์มีพระชันษาได้ 13 ปี หลังจากนั้น พระองค์ผนวชเป็นสามเณร ณ พระอุโบสถ วัดพระศรีรัตนศาสดาราม โดยมีสมเด็จพระมหาสมณเจ้า กรมพระยาปวเรศวริยาลงกรณ์ เป็นพระอุปัชฌาย์ แล้วเสด็จออกไปประทับ ณ พระตำหนักปั้นหยา วัดบวรนิเวศราชวรวิหาร ซึ่งเป็นพระตำหนักที่ประทับเดิมของพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวเมื่อครั้งที่พระองค์ออกผนวช เมื่อครบพรรษาจึงลาผนวช