ตามตำนานเล่ากัน หลวงพ่อบ้านแหลม มีความสัมพันธ์กับตำนานหลวงพ่อโสธร จังหวัดฉะเชิงเทรา แต่มีเพิ่มเติมจำนวนพระพุทธรูปจาก 3 องค์ เป็น 5 องค์ กล่าวคือ มีเรื่องเล่ากันมาว่า มีพระพุทธรูป 5 องค์ ลอยน้ำมาจากเมืองเหนือ เมื่อมาถึงภาคกลางก็ได้แยกย้ายกันไปประดิษฐานอยู่ตามจังหวัดต่างๆ รวม 5 จังหวัด

• องค์แรก ลอยมาตามแม่น้ำบางปะกงและได้ประดิษฐานอยู่ที่วัดโสธรวรารามวรวิหาร จังหวัดฉะเชิงเทรา ได้ชื่อว่า หลวงพ่อโสธร
• องค์ที่สอง ลอยมาตามแม่น้ำนครชัยศรีและได้ไปประดิษฐานที่วัดไร่ขิง เมืองนครชัยศรี(อำเภอสามพราน) จังหวัดนครปฐม ได้ชื่อว่า หลวงพ่อวัดไร่ขิง
• องค์ที่สาม ลอยมาตามแม่น้ำเจ้าพระยาและได้ไปประดิษฐานที่วัดพลับพลาชัยชนะสงคราม อำเภอบางพลี จังหวัดสมุทรปราการ ได้ชื่อว่า หลวงพ่อโต
• องค์ที่สี่ ลอยมาตามแม่น้ำแม่กลองและได้ไปประดิษฐานที่วัดเพชรสมุทรวรวิหาร เมืองแม่กลอง ปัจจุบันคือจังหวัดสมุทรสงคราม ได้ชื่อว่า หลวงพ่อบ้านแหลม
• องค์ที่ห้า ลอยมาตามแม่น้ำเพชรบุรีและได้ไปประดิษฐานที่วัดเขาตะเครา จังหวัดเพชรบุรี ได้ชื่อว่า หลวงพ่อเขาตะเครา

หลวงพ่อบ้านแหลม มีตำนานอีกเรื่องหนึ่ง กล่าวว่า ชาวบ้านแหลมที่มาตั้งรกรากอยู่ เมื่อประมาณปี พ.ศ. 2307 ซึ่งส่วนใหญ่เป็นชาวประมง วันหนึ่งได้มีชาวประมงไปลากอวนหาปลาที่ปากแม่น้ำแม่กลอง และอวนได้ติดพระพุทธรูปขึ้นมาสององค์องค์หนึ่งเป็น พระพุทธรูปยืน ปางอุ้มบาตร อีกองค์หนึ่งเป็นพระพุทธรูปนั่ง จึงอาราธนาพระพุทธรูปยืนมาประดิษฐานที่ วัดศรีจำปา ซึ่งเป็นวัดเก่าแก่ของเมืองแม่กลอง ส่วนพระพุทธรูปนั่งได้มอบให้ญาติพี่น้องนำไปประดิษฐานที่ วัดเขาตะเครา จังหวัดเพชรบุรี

วัดศรีจำปา นี้ต่อมาได้ชื่อว่าวัดบ้านแหลม ซึ่งต่อมาได้รับการยกฐานะขึ้นเป็นพระอารามหลวงชั้นตรี ชั้นวรวิหาร และได้รับพระราชทานนามว่า วัดเพชรสมุทรวรวิหาร บาตรแก้วสีน้ำเงินที่เห็นอยู่ปัจจุบัน สมเด็จพระเจ้าบรมเธอกรมพระยาภาณุพันธุ์วงศ์วรเดช ได้ถวายไว้เนื่องจากบาตรเดิมอาจจมหายอยู่ในน้ำก่อนที่ชาวประมงจะได้จากทะเลปากอ่าวแม่กลอง

* ข้อมูลเพิ่มเติม แผนที่การเดินทาง สถานที่ท่องเที่ยวใกล้เคียง วัดบ้านแหลม