หอสมุดแห่งแรกในเซี่ยงไฮ้ถูกสร้างขึ้นใน ค.ศ. 1847 โดยมีชื่อของหอสมุดคือ หอสมุดสูเจียหุ้ย ใน ค.ศ. 1925 หอสมุดเซี่ยงไฮ้ตะวันออก ซึ่งเป็นหอสมุดแห่งแรกที่ดำเนินการโดยประเทศจีนได้เปิดการให้บริการ

ใน ค.ศ. 1950 คณะกรรมธิการการจัดการมรดกทางวัฒนธรรมเซี่ยงไฮ้ ได้เริ่มการรณรงค์ในการจัดเก็บหนังสือและสิ่งเกี่ยวของกับปีต่างๆ การเก็บรวบรวมได้เพิ่มขึ้นกว่า 200,000 ฉบับ นักวิชาการและบุคคลที่มีชื่อเสียงหลายท่านได้ร่วมแบ่งปัน และบางท่านก็ได้ร่วมบริจาคเงินครั้งใหญ่ ทางคณะกรรมการเองก็ริเริ่มจัดซื้อหนังสือจากต่างประเทศ