วัดมหาสมณารามราชวรวิหาร หรือรู้จักในนาม วัดเขาวัง[1] เดิมชื่อ วัดสมณ [ สะ-หฺมน] หรือ วัดมหาสมน บ้างว่าสมัยโบราณมีภิกษุลังกามาจำพรรษา ได้เห็นว่า มีต้นมะลิอยู่บนเขาเป็นจำนวนมากจึงพากันเรียกว่า (วัด) เขาสุมน [สุ-มะ-นะ] แปลว่า "ดอกมะลิ" สันนิษฐานว่าวัดนี้สร้างมาตั้งแต่สมัยอยุธยา

เมื่อพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวโปรดให้สร้างพระนครคีรี บรรดาพระสงฆ์ที่จำพรรษาอยู่ภายในวัดมหาสมณาราม เมื่อทราบข่าวว่าอยู่ในเขตสร้างพระราชวังจึงพากันย้ายไปจำพรรษาที่อื่น ทำให้วัดมหาสมณารามกลายเป็นวัดร้าง พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวจึงโปรดเกล้าฯ ให้บูรณซ่อมแซมวัดมหาสมณารามโดยมีเจ้าพระยาศรีสุริยวงศ์ (ช่วง บุนนาค) เป็นผู้ควบคุมการดำเนินงานบูรณะ และพระราชทานนามให้มีความหมายให้เป็นอนุสรณ์ถึงพระองค์ว่า "วัดมหาสมณาราม"