เล่ากันว่า ในสมัยอยุธยาตอนปลาย บริเวณบ้านบางด้วน(ปัจจุบัน คือ บ้านบางก้าง หมู่ที่ 7 ตำบลบางตะบูน) คุ้งน้ำบางตะบูน เคยมีพลับพลาหรือตำหนัก พระเจ้าเสือซึ่งพระองค์เสด็จฯ มาประทับทรงเบ็ด ซึ่งในอดีตบริเวณดังกล่าวมีปลาชุกชุมมาก ในปัจจุบันมี วัดคุ้งตำหนัก เป็นวัดเก่าแก่มาตั้งแต่สมัยนั้นตั้งอยู่ ดังมีบันทึกเรื่องราวประวัติศาสตร์ตามคำกลอนของสุนทรภู่ ที่ว่า

"ถึงที่วังตั้งประทับรับเสด็จ มาทรงเบ็ดปลากระโห้ไม่สังหาร ให้ปล่อยไปในทะเลเอาเพดาน แต่โบราณเรียกว่าองค์พระทรงปลา"

สมัยกรุงรัตนโกสินทร์ครั้งรัชกาลที่ ๓ เมื่อสุนทรภู่เดินทางมาเมืองเพชรบุรี พ.ศ. ๒๓๗๔ ก็ได้ใช้เส้นทางนี้ ดังคำกลอนที่ว่า

"แล้วเคลื่อนคลาลาจากปากคลองช่อง ไปตามร่องน้ำหลักปักเป็นแถว ข้ามยี่สารบ้านสองพี่น้องแล้ว ค่อยคล่องแคล่วเข้าชวากปากตะบูน"