ศาลลูกศรตามตำนานว่าไว้ว่าเมื่อพระรามรบชนะทศกัณฐ์ได้ปูนบำเหน็จความชอบแด่ขุนทหารโดยทั่วกัน และได้รับสั่งว่าให้หนุมานทหารเอกได้ครองกรุงอโยธยาร่วมกัน แต่หนุมานขอให้พระรามพระราชทานพื้นที่สร้างเมืองโดยให้พระรามแผลงศรออกไป เมื่อลูกศรไปตกณ.ที่ใดก็ให้หนุมานสร้างเมือง ณ ที่แห่งนั้น ตามตำนานว่าไว้ว่าเมื่อลูกศรตกลงมาถูกพื้นดินก็ได้เกิดไฟเผาผลาญพื้นดินนั้นจนสุกขาวเป็นที่มาของดินสอพอง และลูกหลานของหนุมานนั้นก็คือลิงที่อาศัยอยู่ที่ศาลพระกาฬและพระปรางค์สามยอด ลูกศรของพระรามนั้นเชื่อว่ายังมีฤทธิ์อยู่เมื่อใดที่ผู้ดูแลศาลปล่อยให้น้ำที่แช่อยู่แห้งลงไปจะเกิดไฟไหม้เมืองลพบุรี