ร้อยตำรวจเอก เฉลิม เกิดเมื่อวันที่ 10 มิถุนายน พ.ศ. 2490 บิดาชื่อ ร.ต.ต.แฉล้ม อยู่บำรุง มารดาชื่อนางลั้ง อยู่บำรุง จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จากคณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง [6] ก่อนเข้ารับราชการตำรวจที่มีตำแหน่งเป็นสารวัตรกองปราบ นั้นได้เคยเป็นทหารยศสิบโทมาก่อน ได้ขอโอนย้ายตัวเองเข้าสังกัดตำรวจ ในการทำงานการเมืองเคยดำรงตำแหน่ง รัฐมนตรีว่าการกระทรวงยุติธรรม และรัฐมนตรีประจำสำนักนายกรัฐมนตรี กำกับดูแล องค์การสื่อสารมวลชนแห่งประเทศไทย และขณะที่กำกับดูแลหน่วยงานแห่งนี้ ร้อยตำรวจเอก เฉลิม มีชื่อเรียกสั้น ๆ จากสื่อมวลชนว่า "เหลิม" หรือ "เหลิมดาวเทียม" เนื่องจากเป็นที่รับรู้กันดีในแวดวงสื่อมวลชนถึงการควบคุมการนำเสนอข่าวด้วยตนเองของ ร้อยตำรวจเอก เฉลิม ซึ่งในบางครั้งถึงกับเข้าไปสั่งการในห้องตัดต่อเอง จนคนในช่อง 9 เรียกว่า "บรรณาธิการเฉลิม"[7]

สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง[8], ร้อยตำรวจตรี วัน อยู่บำรุง และ พันตำรวจตรี ดวง อยู่บำรุง[9] ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขมและน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557

จบการศึกษาทั้งระดับปริญญาตรี ปริญญาโท และปริญญาเอก จาก คณะนิติศาสตร์ มหาวิทยาลัยรามคำแหง ท่ามกลางความสงสัยว่าการจบปริญญาเอกนั้นไม่ได้มาตรฐาน[10]

ร้อยตำรวจเอก เฉลิม เป็นที่รู้จักในฐานะนักการเมือง หลายครั้งมีการใช้คำพูดที่ฟังดูรุนแรง ซึ่ง ร้อยตำรวจเอก เฉลิม เคยกล่าวถึงตัวเองไว้ว่า "ไปทะเลเจอฉลาม มาสภาเจอเฉลิม"[11]

ร้อยตำรวจเอกเฉลิม อยู่บำรุง เคยขึ้นเวทีกลุ่มแนวร่วมประชาธิปไตยต่อต้านเผด็จการแห่งชาติ เมื่อวันที่ 24 พฤษภาคม พ.ศ. 2556 ที่สนามทุ่งศรีเมือง จังหวัดอุดรธานี[12]