สมเด็จพระพุฒาจารย์ มีนามเดิมว่า นวม เกิดเมื่อวันพฤหัสบดีที่ 14 กรกฎาคม พ.ศ. 2407 ตรงกับวันขึ้น 11 ค่ำ เดือน 8 ปีชวด[1] เป็นบุตรของหมื่นนรา (อินทร์) กับนางใย มีพี่น้องร่วมบิดากัน 8 คน[2] ภูมิลำเนาอยู่บ้านวังแม่ลูกอ่อน อำเภอสรรพยา จังหวัดชัยนาท

เริ่มแรกได้ศึกษาที่วัดโคกเข็ม จังหวัดชัยนาท จนอายุได้ 13 ปี จึงย้ายมาศึกษาที่วัดอนงคาราม ได้บวชเป็นสามเณรในปี พ.ศ. 2424[1] แล้วศึกษาต่อจนถึงปี พ.ศ. 2428 ได้บวชเป็นพระภิกษุ ณ วัดพระบรมธาตุวรวิหาร โดยมีพระครูเมธังกร เจ้าคณะอำเภอเมืองในขณะนั้น เป็นพระอุปัชฌาย์ พระวินัยธรวันและพระสมุห์เปรมเป็นคู่พระกรรมวาจาจารย์ ได้ฉายาว่า พุทฺธสโร บวชแล้วกลับมาอยู่วัดอนงคารามเพื่อศึกษาต่อ[2]