ผู้ก่อตั้งโรงเรียนนี้คือ มหาอำมาตย์นายก เจ้าพระยายมราช (ปั้น สุขุม) อดีตผู้สำเร็จราชการแทนพระองค์ในพระบาทสมเด็จพระเจ้าอยู่หัวอานันทมหิดล, อดีตอภิรัฐมนตรี, อดีตเสนาบดีกระทรวงนครบาล, อดีตเสนาบดีกระทรวงโยธาธิการ ซึ่งท่านเป็นผู้ควบคุมการก่อสร้าง การประปานครหลวง การไฟฟ้านครหลวง ถนนและสะพานในกรุงเทพมหานครเกือบทั้งหมด

ในสมัยนั้น เจ้าพระยายมราช (ปั้น สุขุม) ยังดำรงตำแหน่งเป็น พระยาสุขุมนัยวินิต ข้าหลวงเทศาภิบาลสำเร็จการมณฑลนครศรีธรรมราช ท่านเป็นผู้ที่รักและสนใจในเรื่องการศึกษามาก เนื่องจากเคยเป็นพระอาจารย์ถวายวิชาพระเจ้าลูกยาเธอฯ ในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว หลายพระองค์ เช่น พระเจ้าบรมวงศ์เธอ พระองค์เจ้ากิติยากรวรลักษณ์ กรมพระจันทบุรีนฤนาถ, พระเจ้าบรมวงศ์เธอ พระองค์เจ้ารพีพัฒนศักดิ์ กรมหลวงราชบุรีดิเรกฤทธิ์, พระเจ้าบรมวงศ์เธอ พระองค์เจ้าประวิตรวัฒโนดม กรมหลวงปราจิณกิติบดี, พระเจ้าบรมวงศ์เธอ พระองค์เจ้าอาภากรเกียรติวงศ์ กรมหลวงชุมพรเขตอุดมศักดิ์, พระเจ้าบรมวงศ์เธอ พระองค์เจ้าจิรประวัติวรเดช กรมหลวงนครไชยศรีสุรเดชเป็นต้น โดยท่านเริ่มจัดตั้งโรงเรียนชั่วคราวขึ้นก่อนที่ ศาลาการเปรียญวัดดอนแย้ ตำบลบ่อยาง อำเภอเมืองสงขลา จังหวัดสงขลา เมื่อวันที่ 27 ตุลาคม พ.ศ. 2439มีนักเรียนจำนวน 12 คน

ครั้นถึงวันที่ 1 มกราคม พ.ศ. 2439 พระยาสุขุมนัยวินิต และ พระยาวิเชียรศีรี (ชม ณ สงขลา) ผู้ว่าราชการเมืองสงขลา ขณะนั้น ร่วมจัดงานเฉลิมพระชนมพรรษาสมเด็จพระบรมโอรสาธิราชเจ้าฟ้ามหาวชิราวุธ สยามกุฎราชกุมาร พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ขึ้นเป็นการพิเศษ ในโอกาสนี้พระยาสุขุมนัยวินิตได้อัญเชิญพระบรมฉายาลักษณ์สมเด็จพระบรมโอรสาธิราชฯ ซึ่งได้รับพระราชทานมาแต่ประเทศอังกฤษ ประดิษฐานไว้บนแท่นบูชาเพื่อให้ข้าราชการพ่อค้าประชาชมชาวสงขลาได้เคารพสักการะและถวายพระพรชัย

อาศัยโอกาสอันเป็นมหามงคลนี้ พระยาสุขุมนัยวินิต ได้จัดให้มีการเรี่ยไรเงินเพื่อสร้างโรงเรียนที่เป็นหลักฐานขึ้น โดยมีโครงการจะสร้างที่บริเวณวัดนาถม (บริเวณโรงเรียนวิเชียรชมในปัจจุบัน) ซึ่งมี ชัยภูมิและมีบริเวณกว้างขวาง (19 ไร่ 45.7 ตารางวา) ได้เงินมา 3,940 บาท

เนื่องจากเจ้าพระยายมราชเล็งเห็นว่า สถานที่เรียนในวัดมัชฌิมาวาส ไม่กว้างขวางพอที่จะขยับขยายเป็นโรงเรียนหลวงขนาดใหญ่ในอนาคตได้ ควรจะมีอาคารเรียนและบริเวณที่กว้างขวางกว่า คือที่วัดนาถมตามที่วางโครงการไว้แต่เดิม ฉะนั้นในปี พ.ศ. 2447 จึงจัดการเรี่ยไรเงินสมทบทุนอีกครั้งหนึ่งสร้างอาคารที่วัดนาถม สำเร็จในปี 2448

แต่ในปลายปี 2447 สถานีตำรวจภูธรที่ริมคลองขวาง ซึ่งเรียกกันในครั้งนั้นว่า "โรงพักพลตระเวน" เกิดว่างลง เพราะโรงพักใหม่ที่แหลมทรายสร้างเสร็จ เจ้าพระยายมราชเห็นเป็นสถานที่เหมาะกว่าที่เดิมจึงย้ายโรงเรียนจากวัดมัชฌิมาวาสมาอยู่ที่โรงพักแห่งนี้ในปี 2448 ซึ่งบริเวณนี้มีเนื้อที่ 1 ไร่ 2 งาน

ถึงปี 2464 ปริมาณนักเรียนมากขึ้นถึงประมาณ 100 คน ต้องไปสร้างอาคารเรียนขึ้นอีกหลังหนึ่งที่ปลายถนนสะเดา (ฟากซึ่งตั้งที่ว่าการอำเภอในปัจจุบัน) ทำการย้ายนักเรียน ม.4-6 ไปเรียนที่อาคารเรียนหลังใหม่นี้ เริ่มสอนตามหลักสูตรใหม่ของกระทรวงศึกษาธิการในปีนั้น

ปี 2467 ได้ทดลองเปิดสอนชั้นมัธยมปีที่ 7 และ ปี 2469 เปิดสอนชั้นมัธยมปีที่ 8 เป็นครั้งแรก

ถึงปี 2472 โอนอาคารเรียนที่วัดนาถมทั้งหมดให้โรงเรียนประชาบาล (ปัจจุบันคือ โรงเรียนวิเชียรชม) ต้องรับนักเรียนชั้นมัธยมปีที่ 1-3 ไปอยู่ด้วย จึงต้องสร้างอาคารเรียนที่ฝั่งตรงข้ามกับอาคารเรียนที่ปลายถนนสะเดาขึ้นอีก 2 หลัง

และในที่สุด "มหาวชิราวุธ" ก็มาปักหลักมั่นคงในสถานที่ปัจจุบัน ซึ่งมีเนื้อที่ 45 ไร่ 2 งาน 99.9 ตารางวา