วังบางขุนพรหมนี้ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว โปรดเกล้าฯ ให้รวบรวมจัดซื้อที่ดินพระราชทานแด่ สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธ์ กรมพระนครสวรรค์วรพินิต เมื่อ พ.ศ. 2442 ใช้เป็นที่ประทับ และยังเป็นสถานที่จัดงานสโมสรสันนิบาต ต้อนรับแขกบ้านแขกเมืองหลายครั้ง นอกจากนี้ยังใช้เป็นที่จัดงานสังสรรค์ของพระบรมวงศานุวงศ์ และเป็นสถานที่ให้ครูชาวต่างประเทศใช้จัดสอนวิชาต่าง ๆ ให้กับพระธิดาและเจ้านายฝ่ายในของวังอื่น ๆ ในสมัยรัชกาลที่ 5 ซึ่งมีชื่อเรียกกันในสมัยนั่นว่า "บางขุนพรหมยูนิเวอร์ซิตี้"

ซึ่งวังบางขุนพรหม ได้รับการยอมรับว่าเป็นวังที่ประทับของเจ้านายชั้นเจ้าฟ้า ที่ถือว่าใหญ่โตที่สุด โอ่อ่าที่สุด ทำให้สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธุ์ กรมพระนครสวรรค์วรพินิต ผู้ที่ประทับ ได้รับสมัญญานามจากคนทั่วไปว่า "เจ้าฟ้าวังบางขุนพรหม" หรือ"จอมพลบางขุนพรหม"[6]

ภายหลังการเปลี่ยนแปลงการปกครอง สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธุ์ กรมพระนครสวรรค์วรพินิต ได้ย้ายออกจากวังบางขุนพรหม เสด็จฯไปประทับอยู่ที่ตำหนักประเสบัน เกาะชวา ประเทศอินโดนีเซีย อย่างกะทันหันและประทับอยู่ที่นั่นจนสิ้นพระชนม์ ภายหลัง จอมพล ป. พิบูลสงคราม มีแนวคิดจะคืนวังบางขุนพรหมให้แก่พระองค์เจ้าจุมภฏพงษ์บริพัตร ทายาทของเจ้าฟ้าบริพัตรสุขุมพันธุ์ โดยจะให้พลโทประยูร ภมรมนตรี เป็นคนกลางถือจดหมาย แต่พลโทประยูรไม่เห็นด้วยและเอาจดหมายไปเก็บไว้เอง

วังบางขุนพรหม ได้ใช้เป็นที่ตั้งของกรมยุวชนทหาร สภาวัฒนธรรมแห่งชาติ และหน่วยงานราชการอีกหลายแห่ง ต่อมาในปี พ.ศ. 2488 ธนาคารแห่งประเทศไทยเช่าวังบางขุนพรหมเป็นที่ทำการธนาคารจากกรมธนารักษ์ ใน พ.ศ. 2502 จึงได้จัดซื้อที่ดินและสิ่งปลูกสร้างทั้งหมด โดยแลกกับบ้านมนังคศิลา ในราคา 39.185 ล้านบาท

เมื่อ พ.ศ. 2496 มีการจัดตั้งสถานีโทรทัศน์เป็นครั้งแรกในประเทศไทย ก็จัดตั้งสำนักงาน บริษัท ไทยโทรทัศน์ จำกัด และ ทำการถ่ายทอดจากที่นี่ เมื่อ พ.ศ. 2498 เรียกว่า สถานีโทรทัศน์ ไทยทีวี ช่อง 4 บางขุนพรหม ย้ายออกไปใน พ.ศ. 2520 ได้เปลี่ยนชื่อเป็น ช่อง 9 อ.ส.ม.ท. และ โมเดิร์นไนน์ ทีวี ตามลำดับ