มีการชะลอการก่อสร้างอาคารบางหลังในพื้นที่บางส่วนโดยเฉพาะโบสถ์ ด้วยบาทหลวงตาชาร์ระบุว่าหากตนเดินทางกลับจากฝรั่งเศสซึ่งมีกำหนดใน พ.ศ. 2231 จะนำสถาปนิกผู้ชำนาญในการก่อสร้างโบสถ์จากฝรั่งเศสมาด้วย แต่พระเพทราชาก่อการยึดอำนาจในขณะที่สมเด็จพระนารายณ์มหาราชประชวร เมื่อเดือนพฤษภาคม พ.ศ. 2231 (ค.ศ. 1688)

ในครั้งนั้นออกญาวิไชเยนทร์ผู้สนับสนุนงานด้านดาราศาสตร์ตะวันตกในสยามคนสำคัญถูกจับตัวนำไปประหารชีวิต สมเด็จพระนารายณ์มหาราชก็สวรรคตในเวลาใกล้เคียงกันคือเมื่อวันที่ 11 กรกฎาคม พ.ศ. 2231 บาทหลวงตาชาร์ซึ่งเป็นพวกเดียวกับออกญาวิไชเยนทร์และเป็นผู้ที่ฝ่ายยึดอำนาจต่อต้าน บาทหลวงตาชาร์ไม่สามารถนำสถาปนิกเข้ามายังสยามได้ โบสถ์จึงคงสร้างไม่เสร็จ

ส่วนบาทหลวงคณะเยสุอิตนักคณิตศาสตร์ที่อยู่ในเมืองลพบุรีก็ต้องเดินทางออกจากสยามไปยังเมืองปงดีเชรี ปรากฏหลักฐานว่า บาทหลวงรีโชพร้อมผู้ร่วมงาน 2-3 คนเดินทางไปถึงเมืองปงดีเชรีเมื่อวันที่ 17 กุมภาพันธ์ พ.ศ. 2232 (ค.ศ. 1689) และยังคงทำงานดาราศาสตร์ที่เมืองปงดีเชรีด้วยเครื่องมือสำคัญคือกล้องโทรทรรศน์ความยาว 12 ฟุต ที่ดูเหมือนว่านำไปจากสยาม กล้องโทรทรรศน์กล้องนี้อาจจะเคยใช้อยู่ที่หอดูดาวเมืองลพบุรีมาก่อน

เฉพาะส่วนที่เป็นหอดูดาววัดสันเปาโลน่าจะสร้างเสร็จใน พ.ศ. 2230 และสถานที่แห่งนี้คงถูกทิ้งให้ร่วงโรยไปหลังเกิดการยึดอำนาจสมเด็จพระนารายณ์มหาราชนำโดยพระเพทราชา

พระเพทราชาขึ้นครองราชย์เป็นพระมหากษัตริย์สืบต่อจากสมเด็จพระนารายณ์มหาราช นโยบายด้านการต่างประเทศของพระมหากษัตริย์พระองค์ใหม่เปลี่ยนไปจากเดิม คือไม่พยายามชักนำให้ฝรั่งเศสเข้ามามีอิทธิพลในสยาม ชาวฝรั่งเศสที่เข้ามามีบทบาทมากมายในพระราชอาณาจักรโดยการชักนำของออกญาวิไชเยนทร์ทั้งทหารและบาทหลวงถูกบีบบังคับให้เดินทางออกจากสยาม เมืองลพบุรีก็มิใช่สถานที่ที่พระมหากษัตริย์พระองค์ใหม่โปรดประทับ สถานที่ต่าง ๆ ที่สร้างขึ้นอย่างยิ่งใหญ่ที่เมืองลพบุรีเมื่อครั้งสมัยรัชสมัยสมเด็จพระนารายณ์มหาราช รวมทั้งหอดูดาววัดสันเปาโล คงถูกทิ้งร้างไปนับแต่บัดนั้น