วัดสิริจันทรนิมิตรวรวิหาร (วัดเขาพระงาม) ตั้งอยู่ทิศตะวันออกของเชิงเขาพระงาม ซึ่งเดิมมีชื่อเรียกว่า “เขาบ่องาม” เนื่องจากสภาพที่ตั้งเป็นภูเขาและมีบ่อน้ำตามธรรมชาติที่มีลักษณะสวยงามปรากฏอยู่ สถานที่ตั้งวัดอยู่ห่างจากศาลากลางจังหวัดลพบุรีไปทางทิศเหนือตามถนนพหลโยธินไปประมาณ 12 กิโลเมตร อยู่ในเขตตำบลเขาพระงาม อำเภอเมืองลพบุรี เดิมเป็นวัดร้าง สร้างมาแต่เมื่อใดไม่มีหลักฐานปรากฏแน่ชัด แต่มีหลักฐานทางโบราณสถานและโบราณวัตถุในบริเวณวัดมากมาย อาทิ ซากฐานพระสถูปเจดีย์เก่าบนยอดเขา ซากกำแพงเก่าที่ปรากฏบริเวณเชิงเขา และ พระพุทธไสยาสน์ที่ประดิษฐานอยู่ภายในถ้ำพญามังกร (ถ้ำภัทราวุโธ) ซึ่งสร้างด้วยศิลาแลงศิลปสมัยทวารวดี ซึ่งมีความเจริญรุ่งเรืองในช่วงพุทธศตวรรษที่ 12 - 16 จึงสันนิษฐานว่าน่าจะเป็นวัดร้างที่สร้างขึ้นในช่วงระยะเวลาดังกล่าว

          ปี พ.ศ. 2455 พระอุบาลีคุณูปมาจารย์ (จันทร์ สิริจนฺโท) อดีตเจ้าอาวาสวัดบรมนิวาส เมื่อครั้งดำรงสมณศักดิ์เป็น “พระราชกวี” ซึ่งเป็นพระเถระที่เป็นกำลังสำคัญในการวางรากฐานการศึกษาและจัดการพระพุทธศาสนาของประเทศไทยให้มีความมั่นคงและก้าวหน้าอย่างมาก โดยเฉพาะในภาคอีสาน เป็นผู้สอนธรรมะให้แก่พระเถระองค์สำคัญในธรรมยุติกนิกายหลายรูป  รวมถึงพระอาจารย์มั่น ภูริทตฺโต พระอาจารย์ใหญ่แห่งพระกรรมฐานสายวัดป่า  ได้พาพระครูปลัดอ่ำซึ่งเป็นน้องชายของท่าน และพระมหาทา ( ฐิตวีโร) ออกเดินทางเพื่อหาสัปปายะสถานในการเจริญวิปัสสนา พระเถระได้เดินทางมาถึงแขวงเมืองลพบุรีซึ่งมีเขาและถ้ำค่อนข้างมาก เมื่อเดินทางถึง “ถ้ำเขาบ่องาม” เห็นว่าเงียบสงัดดี ถ้ำอยู่ห่างจากหมู่บ้านประมาณ 50 เส้น (2 กิโลเมตร) ยังว่างอยู่ ไม่มีพระสงฆ์ใดไปอาศัย ตัวปากถ้ำมีรูปร่างเป็นเงื้อมปากมังกรผินหน้าสู่ทิศตะวันออก เวลาบ่ายจะได้รับเงาจากภูเขาเย็นสบายดี คิดว่าเป็นมงคลสถาน แม้พระครูปลัดอ่ำที่ไปด้วยก็ชอบใจ ถึงขนาดขอลาออกจากตำแหน่งพระครูปลัดมาจำพรรษาที่ถ้ำนี้  พระราชกวีก็มีดำริว่าเมื่อออกพรรษาแล้วก็จะมาอยู่ด้วยกันที่นี้  

         เมื่อถึงฤดูเข้าพรรษาพระราชกวี (จันทร์) ได้กลับเข้าไปจำพรรษาที่กรุงเทพฯ โดยมีพระครูปลัดอ่ำเดินทางกลับไปส่งท่านเจ้าคุณที่กรุงเทพมหานครด้วย ครั้นถึงเดือน 8 ขึ้น 13 ค่ำ พระครูอ่ำจึงได้พาพระสังกิจโจ ลำเจียก ออกมาจำพรรษาอยู่ที่เขาพระงาม รวมเป็น 3 รูปด้วยกัน และได้เริ่มทำการการก่อสร้างวัดตั้งแต่ปี พ.ศ. 2455 มาจนถึงเดือน 9 มีพระยาสมบัตยาบาล (ทรัพย์) ได้มาปฏิสังขรณ์ถ้ำและพระไสยาสน์ในถ้ำบนไหล่เขาถวาย สิ้นเงินทั้งสิ้น 1,300 บาทเศษ และได้จารึกหน้าถ้ำบนประตูตามนามของท่านพระครูปลัดว่า "ถ้ำภัทราวุโธ ร.ศ. ๑๓๑"

                   เมื่อออกพรรษา พระราชกวี (จันทร์) ได้รับจดหมายจากพระครูปลัดอ่ำหารือมาว่า พบพระพุทธรูปเก่าปรักหักพังเกลื่อนกลาดอยู่เป็นที่รำคาญใจ อยากจะเก็บรวบรวมแล้วก่อเป็นพระกัจจายน์องค์ใหญ่ให้เป็นที่บรรจุพระที่ชำรุด  แต่พระราชกวี (จันทร์) ดำริว่าพระกัจจายน์เป็นเพียงพระสาวก ส่วนพระพุทธรูปนั้นเป็นพระพุทธเจ้า ถ้าทำอย่างนั้นเห็นจะไม่เหมาะ  ครั้นพอเสร็จงานพระกฐินแล้ว ถึงเดือน 12 ท่านจึงรีบออกไปถ้ำเขาบ่องาม ปรึกษากันจนเกิดโครงการสร้างพระใหญ่ขึ้น ส่วนรูปพระกัจจายน์เอาไว้ภายหลัง    ตกลงกันแล้วก็เลือกหาสถานที่  เห็นว่าเขาบ่องามมีรูปเป็นหัวมังกรและหางมังกร   ควรจะสร้างพระใหญ่ตรงเหนือคอมังกรจะได้มีเดชานุภาพมาก อีกประการหนึ่งบริเวณนั้นมีหินก้อนใหญ่รับพระชานุ (เข่า) อยู่สองก้อน ทิศใต้ก้อนใหญ่ ทิศเหนือก้อนย่อม  พอจะกันไม่ให้องค์พระทรุดลงไปได้  จากนั้นพระราชกวี (จันทร์) กลับเข้ากรุงเทพฯ มาเล่าความประสงค์ให้ญาติโยมฟัง ปรากฏว่ามีผู้มีจิตศรัทธาบริจาคทุนทรัพย์ในการสร้างองค์พระจนแล้วเสร็จ แล้วถวายพระนามว่า “พระพุทธปฏิภาคมัธยมพุทธกาล” ส่วนวัดใช้ชื่อว่า “วัดเขาพระงาม”

          พระราชกวี (จันทร์) ได้รับพระราชทานสัญญาบัตรเลื่อนตำแหน่งเป็นพระเทพโมลีใน พ.ศ. 2457 แต่พอถึงปลาย พ.ศ. 2458 ก็เกิดเรื่องราว ทำให้ท่านถูกถอดออกจากตำแหน่ง จนถึงวันที่ 4 มกราคม พ.ศ. 2459 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวทรงพระราชทานอภัยโทษให้ แล้วจึงทรงพระกรุณาโปรดเกล้าฯ พระราชทานเลื่อนสมณศักดิ์ให้เป็น “พระธรรมธีรราชมหามุนี” และเลื่อนเป็น “พระโพธิวงศาจารย์” ตามลำดับ

          ปลายปีเดียวกันนั้น (พ.ศ. 2459) พระโพธิวงศาจารย์ (จันทร์) ตั้งกำหนดการจะไปผูกพัทธสีมาที่วัดเขาพระงามในวันขึ้น 15 ค่ำ เดือน 4   พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวได้ทรงทราบจากเจ้าพระยายมราช (ปั้น สุขุม) จึงมีรับสั่งกับเจ้าพระยายมราชว่าจะเสด็จไปช่วยด้วย  ในปี พ.ศ. 2466 ใกล้วันงานพระองค์ได้เสด็จไปประทับแรมที่สนามปืนใหญ่คืนหนึ่ง รุ่งขึ้น วันขึ้น 14 ค่ำ เวลาบ่าย 2 โมง เสด็จพระราชดำเนินไปยังวัดเขาพระงามด้วยกระบวนรถยนต์พระที่นั่ง พร้อมด้วยพระบรมวงศานุวงศ์ และข้าราชบริพาร  ในการเสด็จครั้งนี้มีราษฎรมาในงานจำนวนมาก เมื่อเสด็จถึงแล้วพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวก็เสด็จเข้าไปประทับในพระอุโบสถ ทอดพระเนตรวิธีผูกพัทธสีมา ทรงประทับอยู่พอสมควรแล้วเสด็จกลับ  

ต่อมาใน พ.ศ. 2467 ทรงพระกรุณาโปรดเกล้าฯ ตั้งพระครูปลัด (อ่ำ) เป็นพระครูศีลวรคุณให้ดำรงตำแหน่งเจ้าอาวาสวัดเขาพระงามเป็นรูปแรก และพระราชทานนามวัดใหม่ว่า “วัดสิริจันทรนิมิตร”  และพระราชทานสัญญาบัตรเลื่อนตำแหน่งพระโพธิวงศาจารย์ (จันทร์) เป็น “พระอุบาลีคุณูปมาจารย์” ที่เจ้าคณะรองฝ่ายอรัญวาสี ในวันที่ 9 พฤศจิกายน พ.ศ. 2468 หลังจากนั้นไม่กี่วันพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวก็สวรรคตในวันที่ 26 พฤศจิกายน พ.ศ. 2468 พระชนมายุ 45 พรรษา

เจ้าอาวาสวัด

ท่านเจ้าคุณอุบาลีฯ จาริกแสวงหาสถานที่อันเป็นสัปปายะมาเพื่อบำเพ็ญวิปัสสนาธุระ ได้เดินทางถึงบริเวณเขาพระงาม และมีดำริที่จะสร้างวัดนี้ให้เป็นสถานที่ในการเจริญวิปัสสนา โดยการเดินทางมาครั้งนั้นได้มีลูกศิษย์ที่ใกล้ชิดและเป็นน้องชายของท่านเดินทางมาด้วย คือพระปลัดอ่ำ ซึ่งต่อมาได้รับพระราชทานสมณศักดิ์เป็น   พระเทพวรคุณ (อ่ำ ภทฺราวุโธ) และได้เป็นเจ้าอาวาสวัดเขาพระงามรูปแรก จากประวัติของท่านเจ้าคุณอุบาลีฯ ยังทราบอีกว่าท่านมีลูกศิษย์ที่เป็นพระใกล้ชิดและไว้ใจได้หลายรูป  หนึ่งในนั้นก็คือพระราชมุนี (ศรีนารโท) ซึ่งมีภูมิลำเนาเดียวกับท่านเจ้าคุณอุบาลีฯ คือ จังหวัดอุบลราชธานี ต่อมาพระราชมุนีได้เป็นเจ้าอาวาสวัดนิเวศธรรมประวัติ จังหวัดพระนครศรีอยุธยา  ความเกี่ยวข้องของวัดเขาพระงามกับวัดนิเวศธรรมประวัติจึงเชื่อมโยงกันจากการเป็นอันเตวาสิกของท่านเจ้าคุณอุบาลีฯ

 พระเทพวรคุณ (อ่ำ ภทฺราวุโธ) เจ้าอาวาสรูปที่ 1 เมื่อครั้งเริ่มบูรณะวัดเขาพระงาม ได้พาพระลำเจียก สงฺกิจฺโจ จากกรุงเทพมหานครกลับมาช่วยกันพัฒนาวัดเขาพระงามด้วย และเมื่อท่านเจ้าคุณพระเทพวรคุณ (อ่ำ ภทฺราวุโธ) ได้ย้ายไปเป็นเจ้าอาวาสวัดมณีชลขันธ์ อ.เมืองลพบุรี พระลำเจียก สงฺกิจฺโจ ก็ได้เป็นเจ้าอาวาสวัดสืบต่อ ได้รับพระราชทานสมณศักดิ์เป็น “พระศีลวรคุณ” ท่านได้พัฒนาวัดสืบต่อมา โดยท่านมีวัตรปฏิบัติที่เคร่งครัด เป็นที่เลื่อมใสของชาวบ้านกันโดยทั่ว

ครั้นเมื่อพระศีลวรคุณ (ลำเจียก สงฺกิจฺโจ) เจ้าอาวาสรูปที่ 2 มรณภาพ และทางวัดเขาพระงามยังไม่มีพระรูปใดที่มีสมณศักดิ์และความอาวุโสพอที่จะครองวัดได้   ทางฝ่ายปกครองสงฆ์จึงได้นิมนต์พระราชธรรมโมลี (พิมพ์ ปญฺญาทีโป) จากวัดนิเวศธรรมประวัติมาครองวัดเขาพระงาม  ต่อมาพระราชธรรมโมลีได้เลื่อนสมณศักดิ์เป็นพระเทพวรคุณ (พิมพ์ ปญฺญาทีโป) เจ้าคณะจังหวัดลพบุรี สระบุรี (ธรรมยุติ) การมาครองวัดเขาพระงามของพระเทพวรคุณ (พิมพ์ ปญฺญาทีโป) ได้นำความเจริญมาสู่วัดเขาพระงามและชุมชนโดยรอบ ถือว่าท่านเป็นพระนักพัฒนาตัวอย่างที่โดดเด่นรูปหนึ่งและเป็นที่เคารพนับถือของบุคคลทั่วไปโดยมาก หนึ่งในศิษย์ของท่านเจ้าคุณพระเทพวรคุณ(พิมพ์ ปญฺญาทีโป) ที่ติดตามมาด้วยนั้นก็คือ พระอนันตสารโสภน (ราเมศร์ ฐิตปญฺโญ) ซึ่งต่อมาได้เป็นเจ้าอาวาสลำดับที่ 5

การมาบูรณะและสร้างวัดเขาพระงามที่เมืองลพบุรีของท่านเจ้าคุณอุบาลีฯ ถือเป็นจุดกำเนิดสำคัญที่ทำให้พระปฏิบัติดีหลายๆรูปได้เข้ามาจำพรรษาและสร้างความเจริญให้แก่ชุมชน รวมไปถึงการขยายวัดสาขาในสายธรรมยุติกนิกายในอำเภอต่างๆของจังหวัดลพบุรี โดยวัดเขาพระงามมีบทบาทสำคัญในการส่งพระสงฆ์ที่มีความรู้ไปประจำตามวัดสาขาต่างๆ เพื่อให้เป็นผู้นำทางปัญญาให้แก่ชุมชน