ตำนานกล่าวว่า บริเวณนี้ถูกเปิดโดยเจเลฮ์ อิซมาอิล หรือเป็นที่รู้จักว่าเจเลฮ์ ตก เปินเดอการ์ เจเลฮ์ถูกบังคับให้ย้ายมาอยู่ที่ปาซีร์มัซหลังจากที่ดินของเขาถูกสุลต่านแห่งกลันตันยึดครอง

ในเวลานั้น มีครูสอนศาสนาจากบาจกมาสอนกุรอานแก่ชาวบ้านในปาซีร์มัซ หลังจากสอนเสร็จแล้วเขาก็กลับไปที่บาจก อย่างไรก็ตาม ไม่กี่วันหลังจากที่ครูสอนศาสนากลับบาจก มีคนพบไหที่บรรจุทองอยู่ 3 อันในพุ่มไม้. ชาวบ้านที่เห็นเป็นพยานได้ตะโกนว่า มัซ! มัซ! (ภาษามลายูแปลว่า ทอง) ด้วยเหตุนี้เอง สถานที่นี้จึงมีชื่อว่าปาซีร์มัซโดยปริยาย[3]