สำนักนายกรัฐมนตรี ได้รับการจัดตั้งขึ้นอย่างเป็นทางการตามพระราชบัญญัติปรับปรุงกระทรวง ทบวง กรม พุทธศักราช 2476 เมื่อวันที่ 9 ธันวาคม พ.ศ. 2476[4] โดยมีการจัดวางระเบียบราชการสำนักงาน และกรมภายในสำนักนายกรัฐมนตรี ไว้ 6 หน่วยงาน คือ

• สำนักงานเลขานุการนายกรัฐมนตรี
• กรมเลขาธิการคณะรัฐมนตรี
• คณะกรรมการกฤษฎีกา
• คณะกรรมการข้าราชการพลเรือน
• คณะกรรมการตรวจเงินแผ่นดิน
• สำนักงานโฆษณาการ

ต่อมาได้มีการเปลี่ยนชื่อสำนักนายกรัฐมนตรีเป็น "สำนักคณะรัฐมนตรี" อยู่ระยะหนึ่ง ตั้งแต่วันที่ 1 มกราคม พ.ศ. 2497 ถึงวันที่ 14 กุมภาพันธ์ พ.ศ. 2502

จนกระทั่งมีการแต่งตั้งปลัดบัญชาการสำนักนายกรัฐมนตรีเป็นครั้งแรก เมื่อวันที่ 16 กุมภาพันธ์ พ.ศ. 2502 คือ พันเอก หลวงวิจิตรวาทการ[5]

แม้ว่าสำนักนายกรัฐมนตรีจะจัดตั้งขึ้นตามกฎหมายเมื่อวันที่ 9 ธันวาคม พ.ศ. 2476 แต่ก็มิได้กำหนดให้วันที่ 9 ธันวาคมของทุกปีเป็นวันสถาปนา เนื่องจากได้ถือตามความเป็นจริงว่าส่วนงานของนายกรัฐมนตรีได้ถือกำเนิดขึ้น ตามการแต่งตั้งนายกรัฐมนตรีคนแรกโดยคณะราษฎรเมื่อวันที่ 28 มิถุนายน 2475 ตามรัฐธรรมนูญฉบับแรกของไทย สำนักนายกรัฐมนตรีจึงกำหนดให้วันที่ 28 มิถุนายนของทุกปีเป็นวันคล้ายวันสถาปนาสำนักนายกรัฐมนตรีเพื่อรำลึกถึงเหตุการณ์ดังกล่าว[6] โดยได้กำหนดให้สีประจำสำนักนายกรัฐมนตรี คือ สีดำ[7]