วัดเทียนถวายสร้างขึ้นเมื่อประมาณ พ.ศ. 1880 เล่ากันว่า พระเจ้าอู่ทองในฐานะเป็นเจ้าเมืองขณะนั้น ทรงสั่งให้สร้างขึ้นในคราวที่ได้อพยพหนีโรคระบาดมาตั้งกองเกวียนพักอาศัยกลางคืนจุดไฟสว่างไสว พักอยู่ประมาณ 1 เดือนเศษ ก่อนที่จะอพยพกลับเมือง ขนานนามวัดว่า วัดเกวียนไสว แต่ต่อมาเพี้ยนมาเป็น "วัดเทียนถวาย" ชาวบ้านยังเรียกอีกชื่อว่า วัดเหล้าจืด หมายถึงคนเมาสุรามาถึงวัดนี้ก็หายเมาเสมือนกับว่าเหล้าจืด เพราะเกรงกลัวเจ้าอาวาสในสมัยก่อนนี้คือ พระธรรมานุสารี (สว่าง ธมฺม โชโต)

วัดได้รับพระราชทานวิสุงคามสีมาแต่เดิมประมาณ พ.ศ. 1885 เขตวิสุงคามสีมา กว้าง 19.80 เมตร ยาว 29 เมตร พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวได้เคยเสด็จทางชลมารคพร้อมด้วย ข้าราชบริพารเมื่อวันที่ 28 กรกฎาคม ร.ศ. 125 (พ.ศ. 2449) ได้พระราชทานพระราชทรัพย์ 20 บาท พร้อมกับโปรดให้ถ่ายพระบรมฉายาลักษณ์ร่วมกับพระธรรมานุสารีเจ้าอาวาสขณะนั้นด้วย[1]

สภาพทางภูมิศาสตร์ของวัด มีต้นไม้โบราณมาก ต้นใหญ่ เช่น ต้นตะเคียน แต่ไม่ปรากฏต้นตาลโตนดตามที่สุนทรภู่ไว้ในนิราศพระบาท เมื่อครั้งพระสัมพันธวงศ์เธอ พระองค์เจ้าปฐมวงศ์เสด็จไปนมัสการพระพุทธบาทสระบุรี โดยกล่าวว่า "สูงละลิ่วทิวเมฆเป็นหมอกมน สะพรั่งต้นตาลโตนดอนาถครัน" ชาวบ้านเล่าว่า ต้นตาลที่หมดไปเพราะบริเวณนี้น้ำท่วม หลังจากการขุดคลองรังสิตทำให้เกิดน้ำวนและมีพื้นดินงอกเพิ่มขึ้น น้ำจึงท่วมเป็นประจำ ภายหลังจึงได้สร้างเขื่อนกั้นน้ำ แต่ไม่สามารถป้องกันได้ ต้นตาลจึงตายหมด[2]