ในอดีต ทางหลวงแผ่นดินสายนี้เป็นเส้นทางหลักสำหรับรถทุกคันจากถนนเพชรเกษมที่จะเข้าตัวเมืองสงขลา แต่เมื่อมีการก่อสร้างทางหลวงแผ่นดินหมายเลข 414 (ถนนลพบุรีราเมศวร์) ขึ้น รถจำนวนมากได้หันไปใช้เส้นทางนี้แทน เนื่องจากทางหลวงแผ่นดินหมายเลข 407 จะวิ่งผ่านเข้าไปในตัวเมืองหาดใหญ่ ขณะที่ทางหลวงแผ่นดินหมายเลข 414 จะวิ่งเลี่ยงตัวเมืองหาดใหญ่

รัฐบาลสมัยจอมพล ป. พิบูลสงคราม เป็นนายกรัฐมนตรี ได้ตั้งชื่อทางหลวงสายสงขลา–สะเดาว่า "ถนนกาญจนวณิชย์" เพื่อเป็นเกียรติแก่พระยาประกิตย์กลศาสตร์ (ประกิต รณชิต กาญจนวณิชย์) อดีตนายช่างด้านสงขลา ในช่วงแรกถนนกาญจนวณิชย์ตลอดสายถือเป็นทางหลวงคนละสายกับถนนเพชรเกษม (ซึ่งในขณะนั้นเป็นทางหลวงสายกรุงเทพมหานคร–หาดใหญ่) ต่อมาเมื่อมีการตั้งชื่อทางหลวงโดยใช้ระบบหมายเลข ถนนกาญจนวณิชย์ช่วงหาดใหญ่ถึงสะเดาได้ถูกรวมเป็นส่วนหนึ่งของทางหลวงแผ่นดินหมายเลข 4 ส่วนช่วงสงขลาถึงหาดใหญ่ ได้รับการกำหนดเป็นทางหลวงแผ่นดินหมายเลข 407 และภายหลังได้เพิ่มระยะทางไปจนถึงแยกคลองหวะ