เชื่อกันว่าในช่วงที่ถูกเนรเทศ พระรามเสด็จไปยังบริเวณที่โบสถ์นี้ตั้งอยู่ หลังจากนั้นไม่นาน ได้มีการขุดพบรูปปั้นของปัญจมุขีหนุมานจากสถานที่นั้นและสร้างโบสถ์พราหมณ์ขึ้นในจุดนั้น เชื่อกันว่าผู้ศรัทธาคนใดที่เดินวนรอบรูปปั้นปัญจมุขีหนุมานครบ 11 หรือ 21 รอบ คำขอก็จะสำเร็จตามความปรารถนา[4]