สมเด็จพระบวรราชเจ้ามหาเสนานุรักษ์ สมเด็จพระบิดาโปรดให้สร้างวังพระราชทานพระเจ้าราชวรวงศ์เธอ กรมหมื่นกษัตริย์ศรีศักดิเดช ณ ตำบลที่เรียกถนนพระอาทิตย์ แต่เดิมสมเด็จกรมพระราชวังบวรฯ ในรัชกาลที่1 ทรงจัดสรรเป็น บ้านข้าราชการ รวมถึง บ้านพระยาจ่าแสนยากร คุณหญิงแว่น ซึ่งเป็นที่นับถือว่าเป็นเจ้าที่เจ้าทาง ให้เซ่นสังเวยตามธรรมเนียม ต่อมาที่ดินนี้ตกทอดมาสู่เจ้าพระยาวรพงศ์พิพัฒน์ (หม่อมราชวงศ์เย็น อิศรเสนา) ซึ่งเป็นเสนาบดีกระทรวงวังในสมัยรัชกาลที่ 7

เนื่องจากวังเดิมชำรุดทรุดโทรมลงไปมาก เจ้าพระยาวรพงศ์พิพัฒน์ได้สร้างวังขึ้นมาใหม่เมื่อ พ.ศ. 2475 ลักษณะอาคารเป็นตึก 2 ชั้นยกพื้นสูงหลังคามุงกระเบื้องว่าว และต่อเดิมเป็นอาคาร 5 ชั้น มียอดโดมประดับอยู่เป็นหลังคาทรงสูงอยู่ด้านหลัง ประดับชายคาและช่องลมด้วยลวดลายไม้ฉลุ อาคารนี้ได้ตกทอดมาสู่ราชสกุลอิศรเสนา คือ หม่อมหลวงสันธยา อิศรเสนา ซึ่งได้เปลี่ยนชื่อวังให้เป็น "บ้านพระอาทิตย์" ต่อมาได้ขายให้กับเอกชน เป็นสำนักงานของหนังสือพิมพ์ผู้จัดการ

บ้านพระอาทิตย์เคยเป็นที่ตั้งของสถาบันเกอเธ่ (สถาบันวัฒนธรรมไทย-เยอรมัน) ระหว่าง พ.ศ. 2505-2533 ซึ่งปัจจุบันย้ายไปอยู่ที่ซอยสาทร 1 (อรรถการประสิทธิ์) ถนนสาทรใต้