พ.ศ. 2430-2450 สมัยที่ยังเรียกชื่อวัดปากน้ำ มีเจ้าอาวาสปกครองวัดรวม 6-7 รูป (ไม่ปรากฏชื่อ) แต่มีการบันทึกไว้เพียง 3 รูป ได้แก่

1. พ่อท่านแก้ว ยนยาว จากจังหวัดสงขลา
2. พระบริสุทธิสีลาจารย์ (ลภ) จากจังหวัดตรัง
3. พระครูสตูลสมันสรณมุนี (สมุทร) จากจังหวัดสตูล

ต่อมา ปี 2450 พระแก้วโกรพ (หมี ณ ถลาง) ได้นิมนต์พระสมุห์กิ่ม พุทฺธรกฺขิโต พร้อมกับบูรณะวัดอย่างจริงจัง แล้วขนามนามวัดใหม่เป็น "วัดแก้วโกรวาราม" และมีเจ้าอาวาสปกครองดังนี้

1. พระครูธรรมาวุธวิศิษฐ์ (กิ่ม พุทฺธรกฺขิโต) พ.ศ. 2451-2473
2. พระราชสุตกวี (สิงห์ จนฺทาโภ ป.ธ.6, น.ธ.เอก) พ.ศ. 2474-2528
3. พระสุตาวุธวิสิฐ (ขรรค์ชัย อาภากโร น.ธ.เอก) พ.ศ. 2529-2540
4. พระมหาศรีวัง สิริมนูญโญ พ.ศ. 2541-2543
5. พระปัญญาวุธธรรมคณี (บริสุทธิ์ ขนฺติโก น.ธ.เอก จล. อายุ 84 พรรษา 63) พ.ศ. 2543- ปัจจุบัน