ภาพวาดสีน้ำของหอดูดาวเมืองลพบุรีเมื่อครั้งยังสมบูรณ์ มีประวัติว่าบาทหลวงปูโช (Pouchot) คณะเยสุอิตมอบให้หอสมุดแห่งชาติฝรั่งเศส เมื่อ พ.ศ. 2305 (ค.ศ. 1762) สมเด็จพระนารายณ์มหาราชทรงสร้างสถานที่แห่งนี้พระราชทานให้กับบาทหลวงเยสุอิตชาวฝรั่งเศส เพื่อการศึกษาค้นคว้าวิชาดาราศาสตร์และคณิตศาสตร์ หอดูดาวใช้งานได้จริงเมื่อราว พ.ศ. 2229 สำหรับฐานอาคารที่อยู่ใกล้ ๆ มีผังเป็นรูปไม้กางเขนคือฐานของโบสถ์ที่กำลังเริ่มก่อสร้าง

สมเด็จพระนารายณ์มหาราชได้ประกาศพระบรมราชโองการพระราชทานสิทธิอันพิเศษให้กับสถานที่ของคณะบาทหลวงเยสุอิตคือ "วิทยาลัยแห่งเมืองลพบุรี" แห่งนี้ด้วยการพระราชทานเลกวัดกว่า 100 คนให้ใช้พายเรือให้คณะบาทหลวง และใช้สอยงานอื่น ๆ ประกาศนี้ลง พ.ศ. 2231

มีภาพวาดสีน้ำของหอดูดาวเมืองลพบุรี เมื่อครั้งยังสมบูรณ์เก็บรักษาอยู่ ณ หอสมุดแห่งชาติฝรั่งเศสและมีคำบรรยายประกอบว่า เป็นวัดที่สมเด็จพระนารายณ์มหาราชทรงสร้างพระราชทานให้กับบาทหลวงเยสุอิตชาวฝรั่งเศส เพื่อประกอบกิจกรรมศึกษาค้นคว้าวิชาดาราศาสตร์ คณิตศาสตร์ ตรงกลางเป็นหอดูดาวซึ่งเป็นอาคารทรงแปดเหลี่ยมสูงสามชั้น มีปีกเป็นตึกสองชั้นใช้เป็นที่พัก สำหรับฐานอาคารที่อยู่ใกล้ ๆ มีผังเป็นรูปไม้กางเขนที่กำลังเริ่มก่อสร้าง นั่นคือโบสถ์

สถานที่แห่งนี้มีชื่อเรียกในเอกสารชั้นต้นของชาวฝรั่งเศสว่า วิทยาลัยแห่งเมืองลพบุรีหรือคณะเยสุอิต ประกอบด้วยอาคารสำคัญ ๆ คือ หอดูดาว ที่พักบาทหลวง และโบสถ์ เข้าใจว่าชื่อสถานที่แห่งนี้ที่แพร่หลายคือวิทยาลัย และคงเป็นสถานที่ได้ศึกษาวิชาดาราศาสตร์ตะวันตกได้จริงตั้งแต่ครั้งปลายรัชสมัยสมเด็จพระนารายณ์มหาราช (พ.ศ. 2230-2231)