พิชิต เดิมเคยใช้ชื่อว่า พิชิตน้อย ศิษย์บางพระจันทร์ เคยชกมวยไทยมาก่อน โดยชกมาตั้งแต่อายุ 9 ขวบ เคยชิงแชมป์ของเวทีลุมพินีถึง 2 ครั้ง กับ คมพยัคฆ์ สิงห์มณี แต่ไม่ประสบความสำเร็จ จึงหันมาชกมวยสากลอาชีพ โดยขึ้นชกครั้งแรกเมื่อ 8 สิงหาคม พ.ศ. 2536 ชนะคะแนน เมลวิน มากราโม ที่ กรุงเทพฯ ทำสถิติชกชนะรวดมาตลอด 8 ครั้ง จึงได้ขึ้นชิงแชมป์โลกในรุ่นไลท์ฟลายเวท ของสมาคมมวยโลก (WBA) กับ เลโอ กาเมซ นักชาวเวเนซุเอลา ที่มหาวิทยาลัยรามคำแหง เมื่อ 9 ตุลาคม พ.ศ. 2537 พิชิตน้อยทำคะแนนนำมาตลอดเพราะมีความได้เปรียบทุกอย่าง ทั้งสถานที่ และอายุ แต่ทว่าเมื่อถึงยกที่ 6 ถูกหมัดสวนของกาเมซสวนมาทำให้กรรมการปรี่เข้าไปนับจนถึง 9 และจับแพ้ทีเคโอไปในที่สุด

หลังจากนั้นเมื่อพิชิตพี่ชายได้แขวนนวมไปแล้ว พิชิตน้อย ได้เปลี่ยนชื่อใหม่เป็น พิชิต ช.ศิริวัฒน์ มีผู้สนับสนุนคือ นายชัยภักดิ์ ศิริวัฒน์ พร้อมกับ ดาวรุ่ง ชูวัฒนะ ที่เสียแชมป์โลกไปก่อนหน้านั้น พิชิตชกทำฟอร์มอีกหลายครั้ง จนได้ตำแหน่งแชมป์พาบา (PABA) เมื่อ พ.ศ. 2538 และได้ชิงแชมป์โลกอีกครั้งในรุ่นเดิม สถาบันเดิมกับ เคจิ ยามางูจิ นักมวยชาวญี่ปุ่นที่โอซากะ ในปลายปี พ.ศ. 2539 ซึ่งไม่มีการถ่ายทอดสดกลับมาทางประเทศไทยเนื่องจากติดพิธีสวนสนามของพิธีถวายสัตย์ปฏิญาณตนและสวนสนามของทหารรักษาพระองค์ ปรากฏว่าพิชิตสามารถเอาชนะน็อกทีเคโอไปได้เพียงยกที่ 2 อย่างรวดเร็วผิดความคาดหมาย และหลังจากนั้นพิชิตสามารถป้องกันตำแหน่งไว้ได้อีกหลายครั้ง จนกระทั่งในปี พ.ศ. 2543 พิชิตไม่ได้ป้องกันตำแหน่งนานแล้ว จึงถูกปลด หลังจากนั้นอีกประมาณปีกว่าจึงได้มีโอกาสชิงแชมป์โลกนี้อีกครั้งที่สหรัฐอเมริกา แต่ว่าเป็นฝ่ายแพ้น็อกไป

หลังจากนั้น พิชิตได้เดินทางไปประกอบอาชีพเป็นเทรนเนอร์ที่ประเทศญี่ปุ่นอยู่ระยะหนึ่ง โดยเดินทางตาม อิสมาเอล ซาลัส เทรนเนอร์ชาวคิวบา ที่เป็นเคยผู้ฝึกสอนมาก่อน รวมทั้งได้ขึ้นชกไปด้วยที่นั่นเป็นจำนวน 2 ครั้ง ก่อนที่จะแขวนนวมไปในที่สุด โดยครั้งสุดท้ายสามารถเอาชนะคะแนนนักมวยดาวรุ่งชาวญี่ปุ่นที่โอซากะได้ด้วย

ชีวิตครอบครัวสมรสกับ อมรรัตน์ ภัทรวดี เมื่อวันที่ 30 เมษายน พ.ศ. 2542 มีบุตรชาย-บุตรสาวด้วยกัน 2 คน ปัจจุบัน พิชิตได้ประกอบธุรกิจฟาร์มกุ้ง และฟาร์มปลานิล ที่จังหวัดชัยภูมิ บ้านเกิด [1]