อาคารหลักของหอสมุด ตั้งอยู่บนถนนสายที่ 5 (Fifth Avenue) ก่อสร้างระหว่าง ค.ศ. 1897-1911 และเปิดทำการใน ค.ศ. 1911 ตัวอาคารหลักคือ 1 ใน 4 ของหอสมุดวิจัย ห้องที่มีชื่อเสียงคือ ห้องอ่านหนังสือหลักโรส (Rose Main Reading Room : Room 315) มีกว้าง 78 ฟุต (23.8 เมตร) ความยาว 297 ฟุต (90.5 เมตร) ความสูงถึงเพดาน 50 ฟุต (15.8 เมตร)

ห้องโรส ประกอบด้วยแถวตู้หนังสืออ้างอิงนับพันเล่ม ซึ่งเปิดโล่งแต่ละชั้นของระเบียง เหนือขึ้นไปมีหน้าต่างขนาดใหญ่และโคมไฟระย้า ตกแต่งด้วยไม้เนื้อแข็ง โต๊ะ เก้าอี้ และโคมไฟทองเหลือง รวมถึงมีการติดตั้งเครื่องคอมพิวเตอร์ เพื่อค้นหาหนังสือหอสมุด มีอุปกรณ์อำนวยความสะดวกและอินเทอร์เน็ตสำหรับแล็ปท็อป นอกจากนี้ยังมีห้องพิเศษ โดยตั้งชื่อเพื่อเป็นเกียรติกับนักประพันธ์และนักวิชาการคนสำคัญ ซึ่งเป็นผู้วิจัยและเขียนหนังสือของหอสมุด แต่ไม่เพียงนักวิชาการเท่านั้น ระหว่างภาวะเศรษฐกิจตกต่ำครั้งใหญ่ (Great Depression) สมาชิกหอสมุดหลายคนออกจากงานและใช้หอสมุดที่จะปรับปรุงชีวิตของพวกเขา หอสมุดได้รับการประกาศสิ่งสำคัญทางประวัติศาสตร์แห่งชาติ ใน ค.ศ. 1965[4]