เซี่ยงเหลียงมาจากเซี่ยเซียง (下相; ซูเฉียน,เจียงซู ในทุกวันนี้) และเป็นทายาทของตระกูลที่รับใช้ รัฐฉู่ ใน ยุครณรัฐ. พ่อของเซี่ยงเหลียง เซี่ยงหยัน [zh] เป็นขุนพลที่มีชื่อเสียงจากการนำกองทัพฉู่ต่อต้านการรุกรานจากกองทัพฉินที่นำโดยขุนพล หวัง เจี่ยน, และถูกสังหารในที่รบเมื่อ 223 ปีก่อนคริสตกาล เมื่อ ฉินพิชิตฉู่.

หลังการล่มสลายของฉู่, เซี่ยงเหลียงและพี่น้องของเขากลายเป็นคนธรรมดาและใช้ชีวิตอยู่ภายใต้การปกครองของฉินเป็นเวลาหลายปี. เมื่อพี่ชายคนโตของเซี่ยงเหลียง, เซี่ยงเชา (項超) เสียชีวิต, เขานำบุตรชายของเซี่ยงเชา เซี่ยง อฺวี่ มาอุปการะ.