วัดคลองวาฬ เริ่มสร้างในสมัยใดไม่มีหลักฐานปรากฏแน่ชัด แต่สันนิษฐานว่าสร้างมาก่อนที่จะเป็นเมืองคลองวาฬ เดิมทีวัดคลองวาฬไม่ได้ตั้งอยู่ในสถานที่ปัจจุบันนี้ แต่ได้ย้ายสถานที่ถึง 3 ครั้ง 3 แห่งก่อนที่จะมาตั้งอยู่ในที่ปัจจุบัน การหาหลักฐานที่แน่ชัดไม่ได้ก็คงเพราะเมืองคลองวาฬสมัยก่อนเป็นเมืองหน้าด่านที่ต้องรับศึกพม่าโดยตลอดทำให้การที่จะสร้างวัดให้มั่นคงถาวรเป็นไปได้ยาก แม้แต่จวนเจ้าเมืองก็ไม่ปรากฏหลักฐานแน่ชัดว่าอยู่ที่ใด ปัจจุบันวัดคลองวาฬอยู่ห่างจากเมืองประจวบคีรีขันธ์ไปทางทิศใต้ประมาณ 9 กิโลเมตร