สวนหว่างซือถูกสร้างขึ้นครั้งแรกในปี ค.ศ. 1140 มีชื่อว่า โถงหนึ่งหมื่นเล่ม (อังกฤษ: Ten Thousand Volume Hall; จีนตัวย่อ: 万卷堂) โดย สือเจิ้งจี้ (Shi Zhengzhi; 史正志) ผู้มีตำแหน่งเป็นผู้ช่วยเสนาบดี สมัยการปกครองของราชวงศ์ซ่งใต้ ซึ่งตรงกับตำแหน่ง "ผู้ช่วยรัฐมนตรีฝ่ายกิจการพลเรือน (the Deputy Civil Service Minster)" ในปัจจุบัน[1] ซึ่งเขาได้รับแรงบันดาลใจจากชีวิตอันเรียบง่ายและสันโดษของชาวประมงที่อยู่ในงานเขียนของปรัชญาจีน หลังจากที่เขาเสียชีวิตลง สวนหว่างซือก็ผ่านการเป็นเจ้าของจากผู้คนจำนวนมาก และในปี ค.ศ. 1785 ซึ่งเป็นช่วงที่ตกต่ำ สวนแห่งนี้ก็ได้รับการบูรณะใหม่โดยซ่ง จงหยวน (Song Zongyuan; 宋宗元) ข้าราชการเกษียณอายุสมัยราชวงศ์ชิง [1] เขาได้ปรับปรุงการออกแบบสวนใหม่อย่างมาก และยังเพิ่มจำนวนอาคารภายในสวนอีกหลายแห่ง แต่ยังคงจิตวิญญาณของสวนแห่งนี้ไว้ โดยเขามักเรียกตัวเองว่าเป็นชาวประมง และเปลี่ยนชื่อสวนเป็น "สวนเจ้าของอวน (Master of the Nets Garden)" ที่มีความเกี่ยวโยงถึงชีวิตที่เรียบง่ายของชาวประมง

ต่อมาในปี ค.ศ. 1795 ได้เปลี่ยนเจ้าของเป็น ชูหย่วนคุน (Qu Yuancun; 瞿远村) นักวิชาการผู้มีความเชี่ยวชาญเรื่องประวัติศาสตร์และวรรณคดี เขาได้เพิ่มเติมและปรับเปลี่ยนอาคาร เพิ่มต้นไม้ และจ้ดวางหินใหม่ ในช่วงเวลานี้สวนหว่างซือได้รับฉายาว่า สวนชู (Qu's Garden) และยังได้รับการชื่นชมจากนักวิจารณ์เป็นครั้งแรก เมื่อเจ้าของเปลี่ยนเป็น หลี่หงยี่ (Li Hongyi; 李鸿裔) ข้าราชการในองค์พระจักรพรรดิและนักเขียนอักษรวิจิตรในปี ค.ศ. 1868 [1] เขาได้จารึกหินกว่าครึ่งที่อยู่ในสวนแห่งนี้ ต่อมามีการเปลี่ยนมือเจ้าของเป็นเหอซัวฉาง (He Chang; 和收藏) ในปี ค.ศ. 1940 ผู้ซึ่งบูรณะปรับปรุงสวนใหม่และยังเลี่ยนชื่อสวนกลับมาเป็นชื่อ "สวนหว่างซือ (Master of Nets Garden)" อีกครั้ง[1] ซึ่งเขาได้เขียนไว้ในพินัยกรรมระบุให้ทายาทบริจาคสวนแห่งนี้ให้แก่ทางการ ดังนั้นในปี ค.ศ. 1958 เหอเจอหุย (He Zehui) ลูกสาวของเขาจึงได้ส่งมอบสวนนี้ให้แก่เมืองซูโจว

ช่วงศตวรรษที่ 18 สวนหว่างซือได้รับการยอมรับในความมีชื่อเสียงด้านดอกโบตั๋น (peonies) เฉียนต้าซิน (Qian Daxin) ระบุไว้ในจดหมายเหตุสวนหว่างซือ (Notes on the Master of Nets Garden) ของเขาว่า "เป็นการผสมผสานอันรื่นรมย์ของหมู่บ้านและเมือง (A good integration of the delights of the village and town)"[1] นักวิจารณ์สมัยใหม่ เฉินฉงซู (Chen Congzhou) ก็ได้กล่าวถึงสวนนี้ไว้ในหนังสือสวนจีนโบราณที่มีชื่อเสียง (Famous Classical Gardens of China) ว่าเป็นสวนที่ดีที่สุดของศิลปะสวนจีนโบราณ [1]