เสรี สุวรรณภานนท์ เริ่มทำงานเป็นทนายความ และเป็นหัวหน้าสำนักกฎหมายเสรี เคยดำรงตำแหน่งเป็นเลขาธิการสภาทนายความ พ.ศ. 2534-2540 และในปี พ.ศ. 2539 ได้รับเลือกเป็นสมาชิกสภาร่างรัฐธรรมนูญ ต่อมาในการเลือกตั้งสมาชิกวุฒิสภาไทยเป็นการทั่วไป พ.ศ. 2543 ได้รับเลือกเป็นสมาชิกวุฒิสภา กรุงเทพมหานคร และเป็นประธานคณะกรรมาธิการวิสามัญกิจการวุฒิสภา (วิปวุฒิสภา) ต่อจากนั้นได้เข้ารับตำแหน่งเป็นสมาชิกสภาร่างรัฐธรรมนูญ พ.ศ. 2550 และมีตำแหน่งเป็นรองประธานสภาร่างรัฐธรรมนูญ คนที่ 1 ซึ่งเป็นผู้ริเริ่มให้มีการอภิปรายในการประชุมวุฒิสภา ด้วยการจัดระบบการจำกัดเวลาอภิปรายให้สมาชิกแต่ละคน และได้ใช้แนวทางนี้มาจนถึงปัจจุบัน ซึ่งต่อมา สภาผู้แทนราษฎรก็ใช้แนวทางการจำกัดเวลาให้สมาชิกได้อภิปรายเช่นกัน รวมทั้ง เป็นผู้ริเริ่มการกำหนดอำนาจหน้าที่ของคณะกรรมาธิการแต่ละคณะของวุฒิสภาให้มีความชัดเจน และต่อมา สภาผู้แทนราษฎรก็แก้ไขข้อบังคับให้มีการกำหนดอำนาจหน้าที่ของคณะกรรมาธิการแต่ละคณะให้มีความชัดเจนเช่นกันและได้ใช้มาจนถึงปัจจุบัน

ในช่วงเดือนมีนาคม พ.ศ. 2554 ได้เข้าร่วมงานการเมืองกับพรรคธรรมาธิปัตย์ (ต่อมาเปลี่ยนชื่อเป็นพรรคประชาสันติ) โดยชักชวน ดร.ปุระชัย เปี่ยมสมบูรณ์ เป็นหัวหน้าพรรค[1] แต่ต่อมา ดร.ปุระชัย ได้ออกไปจัดตั้งพรรคการเมืองขึ้นใหม่ ทำให้เสรี สุวรรณภานนท์ ได้เข้ารับตำแหน่งหัวหน้าพรรคประชาสันติแทน[2]

ในการเลือกตั้ง พ.ศ. 2554 ได้ลงสมัคร ส.ส.ระบบบัญชีรายชื่อ ลำดับที่ 1 ของพรรคประชาสันติ โดยมีหมายเลขประจำพรรค คือ หมายเลข 33[3] แต่ไม่ได้รับเลือกตั้ง และได้ลาออกจากการเป็นสมาชิกพรรคในเวลาต่อมา[4]