นาวาเอก พระยาวิชิตชลธี ได้รับโปรดเกล้าฯ แต่งตั้งให้เป็น รัฐมนตรี พร้อมกับ เรือเอก หลวงธำรงนาวาสวัสดิ์ ในสมัยรัฐบาล พันเอก พระยาพหลพลพยุหเสนา (พจน์ พหลโยธิน) เมื่อวันที่ 8 สิงหาคม พ.ศ. 2476 ซึ่งนับเป็นตำแหน่งรัฐมนตรีสมัยแรกของท่าน[24] แต่หลังจากดำรงตำแหน่งรัฐมนตรีได้เพียง 4 เดือนท่านก็ขอพระราชทานกราบถวายบังคมลาออกจากตำแหน่งเมื่อวันที่ 9 ธันวาคม พ.ศ. 2476 เนื่องจากป่วยทุพพลภาพ[25]

กระทั่งวันที่ 11 พฤศจิกายน พ.ศ. 2490 หรือ 3 วันหลังการรัฐประหารเมื่อวันที่ 8 พฤศจิกายน พ.ศ. 2490 นาวาเอก พระยาวิชิตชลธี ก็ได้รับโปรดเกล้าฯ ให้ดำรงตำแหน่งรัฐมนตรีสมัยที่ 2 ในสมัยรัฐบาล พันตรี ควง อภัยวงศ์[26] แต่ได้พ้นจากตำแหน่งเมื่อวันที่ 21 กุมภาพันธ์ พ.ศ. 2491 เนื่องจากคณะรัฐมนตรีชุดใหม่ได้เข้าถวายสัตย์ปฏิญาณตนเรียบร้อยแล้ว

ต่อมาในวันที่ 25 กุมภาพันธ์ พ.ศ. 2491 ท่านได้รับโปรดเกล้าฯ แต่งตั้งให้ดำรงตำแหน่งรัฐมนตรีช่วยว่าการกระทรวงกลาโหมในสมัยรัฐบาล พันตรี ควง อภัยวงศ์ อีกเช่นกัน[27] แต่ดำรงตำแหน่งได้เพียงเดือนเศษก็ต้องพ้นจากตำแหน่งเนื่องจาก พันตรีควง และคณะรัฐมนตรีได้กราบถวายบังคมลาออกจากตำแหน่งทั้งคณะเมื่อวันที่ 8 เมษายน พ.ศ. 2491 โดย จอมพล ป. พิบูลสงคราม ได้ขึ้นดำรงตำแหน่งนายกรัฐมนตรีสืบต่อในวันเดียวกัน[28] และหลังจากนั้นท่านก็มิได้ยุ่งเกี่ยวกับวงการเมืองอีกเลย