ประสิทธิ์ลงรับสมัครเลือกตั้งสมาชิกสภาผู้แทนราษฎรจังหวัดฉะเชิงเทราครั้งแรก ในการเลือกตั้ง พ.ศ. 2489 แต่ได้รับเลือกตั้งครั้งแรก ใน พ.ศ. 2495 และได้รับเลือกเรื่อยมา รวม 5 สมัย

ประสิทธิ์ กาญจนวัฒน์ ได้รับตำแหน่งทางการเมืองสำคัญหลายตำแหน่ง อาทิ ดำรงตำแหน่งประธานสภาผู้แทนราษฎร ในสภาผู้แทนราษฎรไทย ชุดที่ 11 เป็นรัฐมนตรีสมัยแรกในปี พ.ศ. 2501 ในตำแหน่งรัฐมนตรีช่วยว่าการกระทรวงสหกรณ์ ต่อมาในปี พ.ศ. 2512 เป็นรัฐมนตรีช่วยว่าการกระทรวงเศรษฐการ[3] และเป็นรัฐมนตรีว่าการกระทรวงพาณิชย์ ในปี พ.ศ. 2515

จากนั้นกลับมาดำรงตำแหน่งอีกครั้งได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงยุติธรรม ในรัฐบาลหม่อมราชวงศ์เสนีย์ ปราโมช[4] จนกระทั่งพ้นจากตำแหน่งเนื่องจากนายกรัฐมนตรีลาออก และได้รับแต่งตั้งเป็นรองนายกรัฐมนตรี[5] แต่ดำรงตำแหน่งเพียง 12 วัน และได้เข้าเฝ้าถวายสัตย์ปฏิญาณเพียงวันเดียวก็ต้องพ้นจากตำแหน่ง เนื่องจากการรัฐประหารของพลเรือเอก สงัด ชลออยู่

ต่อมาได้รับการแต่งตั้งให้เป็น สมาชิกวุฒิสภา ในปี พ.ศ. 2522 ก่อนที่จะวางมือทางการเมืองในที่สุด

สมาชิกสภาผู้แทนราษฎร

ประสิทธิ์ กาญจนวัฒน์ ได้รับการเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรมาแล้ว 5 สมัย คือ

1. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2495 จังหวัดฉะเชิงเทรา
2. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป กุมภาพันธ์ พ.ศ. 2500 จังหวัดฉะเชิงเทรา สังกัดพรรคเสรีมนังคศิลา[6]
3. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป ธันวาคม พ.ศ. 2500 จังหวัดฉะเชิงเทรา ไม่สังกัดพรรคการเมือง[7]
4. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2518 จังหวัดฉะเชิงเทรา สังกัดพรรคสังคมชาตินิยม
5. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2519 จังหวัดฉะเชิงเทรา สังกัดพรรคสังคมชาตินิยม