พล.ร.อ.บรรณวิทย์ เก่งเรียน มีชื่อเสียงในสังคมเป็นครั้งแรกด้วยการเป็นนายทหารที่ดำรงตำแหน่งรองปลัดกระทรวงกลาโหม ที่ออกมาเปิดเผยอย่างตรงไปตรงมาว่า มีการใช้อำนาจการเมืองแทรกแซงการแต่งตั้งนายทหารระดับสูงในกองทัพ มีช่วงวิกฤตการณ์การเมืองในประเทศไทย พ.ศ. 2548-2549 ในรัฐบาลของ พ.ต.ท.ทักษิณ ชินวัตร พร้อมกับนายทหารคนอื่น ๆ จนถูกทางกระทรวงกลาโหม โดย พล.อ.ธรรมรักษ์ อิศรางกูร ณ อยุธยา รัฐมนตรีว่าการกระทรวงในขณะนั้นสอบวินัย

ภายหลังการรัฐประหารในวันที่ 19 กันยายน พ.ศ. 2549 พล.ร.อ.บรรณวิทย์ ได้รับการแต่งตั้งให้ดำรงตำแหน่งสมาชิกสภานิติบัญญัติแห่งชาติ (สนช.) พร้อมกับเป็นประธานคณะกรรมาธิการคมนาคมของสภานิติบัญญัติแห่งชาติ ทำการตรวจสอบการทุจริตในกระทรวงคมนาคมของรัฐบาล พ.ต.ท.ทักษิณ ชินวัตร ต่าง ๆ เช่น กรณีทุจริตการซื้อเครื่องตรวจจับวัตถุระเบิด CTX หรือ การทุจริตในสนามบินสุวรรณภูมิ เป็นต้น

ในการแต่งตั้งโยกย้ายข้าราชการประจำปี พ.ศ. 2550 พล.ร.อ.บรรณวิทย์ ได้รับโปรดเกล้า ฯ ให้ดำรงตำแหน่งประธานที่ปรึกษากระทรวงกลาโหม แทนตำแหน่งรองปลัดกระทรวงกลาโหม เนื่องจากถูกสนช.สายทหารกล่าวหาว่า พล.ร.อ.บรรณวิทย์ ไม่โปร่งใสในระหว่างทำหน้าที่บริหารองค์การแบตเตอรี่ และจากที่กระทบกระทั่งกับผู้บังคับบัญชา จากกรณีที่ออกมาปกป้องพล.อ.สพรั่ง กัลยาณมิตร[1]

ในการเลือกตั้งในปลายปี พ.ศ. 2550 พล.ร.อ.บรรณวิทย์ ได้ขอลาออกจากราชการทหารเพื่อที่ลงรับสมัคร ส.ส. ในระบบสัดส่วนของพรรครวมใจไทยชาติพัฒนา แต่ได้รับการอนุมัติจากกระทรวงกลาโหมล่าช้า จึงไม่ทันการสมัคร ซึ่ง พล.ร.อ.บรรณวิทย์ ได้ตั้งข้อสังเกตว่าเป็นการกลั่นแกล้งตนเอง แต่ทางกระทรวงกลาโหมได้ปฏิเสธ

เคย เป็นเลขาธิการลอนเทนนิสสมาคมแห่งประเทศไทย งานด้านการเมือง เป็นหนึ่งในสมาชิกและผู้ก่อตั้งสมัชชาประชาชนแห่งประเทศไทย และยังจัดรายการวิทยุเป็นประจำในวันเสาร์เวลา 08.30-10.00 น. ทางเอฟ.เอ็ม. 92.25 เมกกะเฮิร์ซ รวมไปถึงการจัดรายการสด ทางช่องทีวีผ่านดาวเทียม ช่อง ๑๓ สยามไท อีกด้วย