ในรัชสมัยพระจุลจอมเกล้าเจ้าอยู่หัว ราวปี พ.ศ. 2439 เจ้าพระยายมราช (ปั้น สุขุม) ข้าหลวงเมืองสงขลา มณฑลนครศรีธรรมราช ต้องการก่อสร้างเจดีย์บนภูเขา ซึ่งสามารถมองเห็นโดดเด่นและสง่าเพื่อบรรจุพระบรมธาตุ ที่ได้รับมาจากลังกา ได้สั่งการให้ข้าราชบริพาร ออกทำการสำรวจ จนกระทั่งได้พบควนธงในพื้นที่อำเภอจะนะ ซึ่งเป็นทำเลที่เหมาะสมมากที่สุด จึงได้ปักธงช้างเผือกและธงธรรมจักร ไว้เป็นหลักฐานสำคัญหนึ่งเดือนต่อมา นายคง ผู้นำชาวบ้านน้ำขาวพร้อมด้วยลูกบ้านได้ร่วมมือร่วมใจกันทำการก่อสร้างเจดีย์แบบลังกา ทรงกลมฐานสี่เหลี่ยมจุตรัส ขนาดยาวด้านละ 5 วา ตัวองค์เจดีย์ฐานทรงกลม เส้นผ่านศูนย์กลาง 8 เมตร (4 วา) มีความสูงจากฐานถึงยอดเจดีย์ 12 เมตร (6 วา) บรรจุพระบรมธาตุไว้ในส่วนกลางขององค์เจดีย์ โดยแบ่งพลพรรคออกเป็น 4 กลุ่ม ดังนี้

กลุ่มแรก อยู่พื้นราบใกล้คลองคู มีหน้าที่ทำอิฐ

กลุ่มที่สอง เดินขึ้นลงทำหน้าที่รับส่งของ ระหว่างกลุ่มแรกกับกลุ่มที่สาม

กลุ่มที่สาม เดินขึ้นลงทำหน้าที่รับส่งของ ระหว่างกลุ่มที่สองกับกลุ่มที่สี่

กลุ่มที่สี่ อยู่บนยอดควนธง มีหน้าที่อ่านแปลน และทำการก่อสร้างเจดีย์ควนธงจนแล้วเสร็จ ใช้เวลาในการก่อสร้าง 2 เดือนเศษ

ได้มีการจัดฉลองสมโภชน์เจดีย์ควนธง 7 วัน 7 คืน มีหนัง โนรา แสดงครบ 7 คืน และมีการสวดชัยมงคลคาถา เพื่อเป็นศิริมงคลของเจดีย์ควบคู่กันไปด้วยครบ 7 วัน 7 คืน ตรงกับกลางเดือนสามของปี ชาวบ้านน้ำขาว ได้พากันขึ้นไปกราบนมัสการเจดีย์ควนธง ในวันแรม 1 ค่ำ เดือน 5 เป็นประจำทุกปี พร้อมกับนิมนต์พระสงฆ์ เพื่อทำประทักษิณา และมีการเลี้ยงพระ (ถวายภัตตาหารเพล)[9][10][11]