หาดใหญ่ เป็นชื่อรวมของหมู่บ้านโคกเสม็ดชุนและบ้านหาดใหญ่ เดิมดินแดนหาดใหญ่เป็นเนินสูงมีผู้คนอาศัยอยู่ไม่มากนัก การคมนาคมไม่สะดวก เป็นป่าต้นเสม็ดชุน โดยทั่วไปชาวบ้านจึงเรียกว่า บ้านโคกเสม็ดชุน เมื่อทางการได้ตัดทางรถไฟมาถึงท้องถิ่นนี้ จึงมีประชาชนอพยพมาตั้งหลักแหล่งทำมาหากินและมากขึ้นเป็นลำดับ สมัยนั้นสถานีชุมทางรถไฟอยู่ที่สถานีอู่ตะเภา (ด้านเหนือของสถานีรถไฟหาดใหญ่ใน ปัจจุบันเป็นเพียงที่หยุดรถไฟ) เนื่องจากสถานีอู่ตะเภาเป็นที่ลุ่มทำให้น้ำท่วมเป็นประจำ ทางการรถไฟจึงได้ย้ายสถานีมาอยู่ที่สถานีชุมทางหาดใหญ่ในปัจจุบัน ประชาชนจึงได้ทยอยติดตามมาสร้างบ้านเรือนบริเวณสถานีนั่นเอง จึงอาจกล่าวได้ว่ากิจการรถไฟมีบทบาทต่อการขยับขยาย และความเจริญก้าวหน้าของเมืองหาดใหญ่ตลอดมา