เนื่องจากหลังสวนเป็นเมืองเก่าแก่เมืองหนึ่งมาตั้งแต่สมัยโบราณ ชื่อที่เรียกจึงยากที่จะหาหลักฐานได้ว่ามีที่มาอย่างไร แต่เนื่องจากหลังสวนเป็นเมืองที่มีผลไม้มากจนกลายเป็นสินค้าสำคัญของเมืองนี้ ดังนั้น กระทรวงคมนาคมจึงได้สันนิษฐานในปี พ.ศ. 2459 ว่า คำว่า “หลังสวน“ น่าจะเพี้ยนมากจากคำว่า “รังสวน” หรือ “คลังสวน” ซึ่งหมายถึงแหล่งหรือที่รวมของผลไม้ทุกชนิดนั่นเอง

เมื่อครั้งที่พระยาอุปกิตศิลปสารเดินทางไปตรวจราชการที่เมืองหลังสวน ก็ได้สันนิษฐานเกี่ยวกับที่มาของคำว่า “หลังสวน” ไว้ดังนี้

“…คำว่าหลังสวน จะผิดหรือถูกขอฝากไว้ในที่นี้ด้วยคือ ริมฝั่งทั้งสองของแม่น้ำ ไม่เห็นมีบ้านเรือนอย่างแม่น้ำเรา มีแต่สวนครึ้มทั้งสองฟาก มีแต่ทางขึ้นลงจากแม่น้ำเท่านั้น ถามผู้แจวเรือว่า แถวนี้ไม่มีบ้านดอกหรือ เขาตอบว่า มี แต่อยู่หลังสวนขึ้นไป ภายหลังข้าพเจ้าไปเที่ยวตามบ้านเหล่านั้น ก็ได้เห็นจริงตามที่เขาพูด จึงสันนิษฐานว่า “เมืองหลังสวน” คงมาจากเค้าที่บ้านเมืองอยู่ข้างหลังสวนลึกเข้าไป…”