สวนทุ่ยซือสร้างขึ้นเมืองปี ค.ศ. 1885 โดยเหรินหลานเซิง (อังกฤษ: Ren Lansheng; จีนตัวย่อ: 任兰生; พินอิน: Rènlánshēng) ข้าราชการในราชสำนักซึ่งทำงานอยู่ในมณฑลอานฮุย (อังกฤษ: Anhui province; จีน: 安徽; พินอิน: Ānhuī) ผู้ถูกกล่าวหาว่ามีความผิด ชื่อของสวนได้มาจากบทกวีที่มีชื่อว่าจั่วฉวน (อังกฤษ: Zho Zhuan; จีน: 左傳; พินอิน: Zuǒ chuán) หรือตำนานของจั่วชิวหมิง (Zhuo Qiuming's Chronicles; จีน : 左丘明; พินอิน: Zuǒ Qiūmíng) ซึ่งกล่าวว่า "Lin Fu really is a gentleman when he forwards proposals, he shows loyalty to his country, when he retreats he reflects and mends his ways".[1] โดยมีหยวนหลง (อังกฤษ: Yuanlong; จีนตัวย่อ: 袁龙) เป็นผู้ออกแบบสวน