ชิต เข้าสู่วงการการเมือง เมื่อได้รับการแต่งตั้งให้เป็นสมาชิกสภาเทศบาลนครกรุงเทพฯ เขตสัมพันธวงศ์ เมื่อ พ.ศ. 2481[3] ก่อนที่จะได้รับเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรครั้งแรก ในปีเดียวกัน และได้รับเลือกตั้งรวม 3 สมัย

ชิต ได้รับตำแหน่งทางการเมืองสำคัญ คือ รัฐมนตรีไม่ประจำกระทรวง ในคณะรัฐมนตรีไทย คณะที่ 13 ในรัฐบาลของหม่อมราชวงศ์เสนีย์ ปราโมช เมื่อปี พ.ศ. 2488 และ คณะรัฐมนตรีไทย คณะที่ 18 ในรัฐบาลของพลเรือตรีถวัลย์ ธำรงนาวาสวัสดิ์ เมื่อปี พ.ศ. 2490

สมาชิกสภาผู้แทนราษฎร

ชิต เวชประสิทธิ์ ได้รับการเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรทั้งหมด 3 สมัย คือ

1. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2481 จังหวัดภูเก็ต
2. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป มกราคม พ.ศ. 2489 จังหวัดภูเก็ต ไม่สังกัดพรรคการเมือง (ต่อมาเข้าร่วมกับพรรคสหชีพ)[4]
3. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2512 จังหวัดภูเก็ต ไม่สังกัดพรรคการเมือง