นายพิชัยเข้าสู่แวดวงการเมืองด้วยการเป็นสมาชิกพรรคประชาธิปัตย์ตั้งแต่ปี พ.ศ. 2501 โดยมีนายควง อภัยวงศ์ เป็นหัวหน้าพรรค และเป็น ส.ส.ในพื้นที่กรุงเทพมหานคร ในการเลือกตั้งเมื่อปี พ.ศ. 2512 ก่อนเกิดเหตุการณ์ 14 ตุลาไม่นาน นายพิชัยได้เป็น 1 ใน 100 ของบุคคลที่ลงชื่อคัดค้านการดำรงตำแหน่งนายกรัฐมนตรีของจอมพลถนอม กิตติขจร และเป็น 1 ใน 4 สมาชิกพรรคประชาธิปัตย์ที่ลงชื่อในคราวนั้น (อีก 3 คนคือ นายดำรง ลัทธพิพัฒน์, นายเทพ โชตินุชิต, นายชวลิต อภัยวงศ์) เขาได้รับแต่งตั้งเป็นสมาชิกสภานิติบัญญัติแห่งชาติ ในปี พ.ศ. 2516[2]

ได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงการต่างประเทศ ในรัฐบาลหม่อมราชวงศ์เสนีย์ ปราโมช[3] แต่ยังมิได้เริ่มปฏิบัติงาน เนื่องจากไม่ได้รับความไว้วางใจจากสภาในการแถลงนโยบาย[4] ต่อมาในปี พ.ศ. 2519 ได้รับแต่งตั้งอีกครั้ง[5] จนกระทั่งพ้นจากตำแหน่งเนื่องจากนายกรัฐมนตรีลาออก และได้รับแต่งตั้งอีกสมัยหนึ่ง[6] แต่ดำรงตำแหน่งเพียง 12 วัน และได้เข้าเฝ้าถวายสัตย์ปฏิญาณเพียงวันเดียวก็ต้องพ้นจากตำแหน่ง เนื่องจากการรัฐประหารของพลเรือเอก สงัด ชลออยู่

ได้เป็นหัวหน้าพรรคประชาธิปัตย์ในปี พ.ศ. 2525 หลังจากการครบวาระของ พันเอก (พิเศษ) ดร.ถนัด คอมันตร์ ซึ่งพรรคประชาธิปัตย์ในช่วงนี้ได้ร่วมเป็นพรรคร่วมรัฐบาลที่ให้การสนับสนุนการดำรงตำแหน่งนายกรัฐมนตรีของ พลเอกเปรม ติณสูลานนท์ ซึ่งนายพิชัยได้เป็นรองนายกรัฐมนตรีด้วย[7] ในปี พ.ศ. 2529 จากนั้นในรัฐบาล พลเอกชาติชาย ชุณหะวัณ นายพิชัยและพรรคประชาธิปัตย์ได้เป็นพรรคร่วมรัฐบาลในวาระแรก และเขาได้รับแต่งตั้งเป็นรองนายกรัฐมนตรี[8] แต่ในวาระที่ 2 ของการดำรงตำแหน่งนายกรัฐมนตรี นายพิชัยและพรรคประชาธิปัตย์ได้ถอนตัวจากการร่วมรัฐบาลเนื่องจากมีเสียงสนับสนุนรัฐบาลในสภา ฯ เป็นจำนวนมาก เนื่องจากไม่ต้องการให้เกิดสภาพการเป็นเผด็จการรัฐสภา

ในวาระของการเป็นหัวหน้าพรรคของนายพิชัยนั้น ได้มีเหตุการณ์ความแตกแยกในพรรคเกิดขึ้น เมื่อ "กลุ่ม 10 มกรา" ที่นำโดยนายวีระ มุสิกพงศ์ ได้ลาออกจากพรรคไป เนื่องจากความขัดแย้งกันในแต่งตั้งหัวหน้าพรรค

จากนั้น เมื่อ นายชวน หลีกภัยเป็นหัวหน้าพรรคและเป็นนายกรัฐมนตรีในสมัยที่ 2 นายพิชัยได้ดำรงตำแหน่งรองนายกรัฐมนตรี มีหน้าที่ดูแลรับผิดชอบกิจการเกี่ยวกับต่างประเทศและรับผิดชอบการจัดมหกรรมกีฬาเอเชียนเกมส์ 1998 และได้ดำรงตำแหน่งประธานรัฐสภาด้วย[9] หลังจากนี้ไม่นาน นายพิชัยได้วางมือจากการเมืองเนื่องจากมีอายุที่มากแล้ว จนได้รับฉายาว่า "คุณปู่" แต่ยังมีตำแหน่งเป็นสภาที่ปรึกษาของพรรคประชาธิปัตย์อยู่

ในแวดวงสังคม นายพิชัย มีตำแหน่งเป็นประธานสโมสรโรตารีในประเทศ และเป็นคนไทยคนแรก ที่ได้ดำรงตำแหน่ง ประธานสโมสรโรตารีสากลในระหว่างปี พ.ศ. 2545 - พ.ศ. 2546