วัดขุนจันทร์สร้างขึ้นประมาณปี พ.ศ. 2380 โดยพระยามหาอำมาตยาธิบดี (ป้อม อมาตยกุล) โดยตั้งชื่อวัดว่า "วัดขุนจันทร์" เพราะผู้สร้างวัดได้รับชัยชนะจากศึกที่เวียงจันทน์ โดยสร้างหลังเสร็จศึกประมาณ 10 ปี ต่อมาในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ท้าวภัณฑสารานุรักษ์ (วรรณ) ธิดาคนเล็กของพระยาอำมาตย์ (ป้อม) บูรณปฏิสังขรณ์วัด แล้วขอพระราชทานชื่อวัดใหม่ พระบามสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงพระกรุณาโปรดเกล้าพระราชทานชื่อวัดว่า "วัดวรามาตยภัณฑสาราราม" เมื่อปี พ.ศ. 2426

สภาพวัดในอดีต ไม่ทราบแน่ชัดเรื่องเนื้อที่วัด ทราบแต่เพียงว่า หน้าวัดหันลงสู่คลองบางหลวง หลังวัดเป็นสวนผลไม้ (ถนนเทอดไทในปัจจุบัน) และหลังวัดอีกส่วนหนึ่งเป็นป่าช้าฝังศพ วัดได้เป็นที่อยู่ของข้าทาสบริวารซึ่งเป็นเชลยศึกได้พักอาศัย วัดนี้ได้รับพระราชทานวิสุงคามสีมาประมาณ พ.ศ. 2440