"หาดใหญ่" เป็นชื่อรวมของหมู่บ้านโคกเสม็ดชุนและหมู่บ้านหาดใหญ่ เดิมดินแดนหาดใหญ่เป็นเนินสูง มีผู้คนอาศัยอยู่ไม่มากนัก การคมนาคมไม่สะดวก เป็นป่าต้นเสม็ดชุน โดยทั่วไปชาวบ้านจึงเรียกว่า "บ้านโคกเสม็ดชุน" เมื่อทางการได้ตัดทางรถไฟมาถึงท้องถิ่นนี้ จึงมีประชาชนอพยพมาตั้งหลักแหล่งทำมาหากินเพิ่มมากขึ้นเป็นลำดับ

สมัยนั้นสถานีชุมทางรถไฟอยู่ที่สถานีรถไฟชุมทางอู่ตะเภา (ด้านเหนือของสถานีรถไฟชุมทางหาดใหญ่ แต่ปัจจุบันทั้งตัวอาคารสถานีและป้ายสถานีอู่ตะเภาได้ถูกรื้อถอนออกไปหมดแล้ว) เนื่องจากพื้นที่บริเวณสถานีอู่ตะเภาเป็นที่ลุ่ม น้ำท่วมเป็นประจำ ทางการรถไฟจึงได้ย้ายสถานีมาอยู่ที่สถานีชุมทางหาดใหญ่ปัจจุบัน ประชาชนได้ทยอยติดตามมาสร้างบ้านเรือนตามบริเวณสถานีนั่นเอง ฉะนั้นอาจกล่าวได้ว่ากิจการรถไฟมีบทบาทต่อการขยับขยายและความเจริญก้าวหน้าของนครหาดใหญ่ตลอดมา

ต่อมาได้มีผู้เห็นการณ์ไกลว่า บริเวณสถานีรถไฟหาดใหญ่นี้ต่อไปภายหน้าจะต้องเจริญก้าวหน้าอย่างแน่นอน จึงได้มีการจับจองและซื้อที่ดินแปลงใหญ่จากราษฏรพื้นบ้าน บุคคลที่ครอบครองแผ่นดินผืนใหญ่ ๆ อาทิ นายเจียกีซี (ต่อมาได้รับพระราชทานนามเป็นขุนนิพัทธ์จีนนคร) คุณพระเสน่หามนตรี นายซีกิมหยง และพระยาอรรถกระวีสุนทร ทั้ง 4 ท่านนี้นับว่าเป็นบุคคลที่มีส่วนในการสร้างสรรค์ความเจริญก้าวหน้าให้แก่นครหาดใหญ่อย่างแท้จริง ได้ตัดถนนสร้างอาคารบ้านเรือนให้ราษฏรเช่า ตัดที่ดินแบ่งขาย เงินที่ได้ก็นำไปตัดถนนสายใหม่ต่อไป ทำให้ท้องถิ่นรุดหน้าอย่างอัศจรรย์

ชุมชนหาดใหญ่เติบโตขึ้นอย่างรวดเร็ว จนทางราชการต้องยกฐานะให้บ้านหาดใหญ่เป็นอำเภอ มีชื่อว่า อำเภอเหนือ ต่อมาในปี พ.ศ. 2460 ได้เปลี่ยนชื่อจากอำเภอเหนือเป็น อำเภอหาดใหญ่