หลังจากได้แชมป์โลก พิชิตย้ายมาอยู่ค่ายส.เพลินจิต มี อิสมาเอล ซาลัส เป็นเทรนเนอร์ พิชิตป้องกันตำแหน่งได้ 5 ครั้งติดต่อกันอย่างสวยสดงดงาม โดยในการป้องกันครั้งที่ 4 ที่จังหวัดสุราษฎร์ธานีกับ อาเธอร์ จอห์นสัน นักมวยผิวดำชาวอเมริกันซึ่งมีเทรนเนอร์ระดับโลกคือ แองเจโล่ ดันดี พิชิตกลับทำได้ไม่ดีแต่กลับเป็นฝ่ายชนะคะแนนไปอย่างค้านสายตา และในการป้องกันตำแหน่งครั้งที่ 5 ในไฟท์บังคับกับ โฆเซ ลุยส์ เซเปดา รองแชมป์โลกอันดับ 1 ชาวเม็กซิกัน ที่จังหวัดราชบุรี พิชิตชนะคะแนนไม่เอกฉันท์แบบค้านสายตา เพราะพิชิตถูกเซเปดาถลุงเจียนอยู่เจียนไปในยกท้ายๆ แต่รวมคะแนนออกมาปรากฏว่าพิชิตชนะคะแนนอย่างเหลือเชื่อ ทาง IBF จึงสั่งให้ชกใหม่

ระหว่างที่รอการชกแก้มือนี้เอง มีข่าวออกมาตลอดว่าสภาพร่างกายและจิตใจของพิชิตไม่สมบูรณ์ จนกลายเป็นข่าวลือว่าพิชิตถูกคุณไสยหรือเป็นโรคเมาหมัด มีพฤติกรรมแปลก ๆ เช่น จากเป็นคนเงียบขรึมก็กลายมาเป็นคนพูดมาก และชอบเก็บสุนัขข้างถนนมาเลี้ยงไว้เต็มไปหมด

จนในที่สุดทรงชัยจึงตัดสินใจให้พิชิตสละแชมป์โลก โดยประกาศแถลงข่าวการแขวนนวมที่อาคารรัฐสภาไทยเมื่อวันที่ 25 พฤศจิกายน พ.ศ. 2537 โดยที่หลังการแถลงข่าวจบ นายชวน หลีกภัย นายกรัฐมนตรีในขณะนั้นยังได้เข้ามาสอบถามด้วยความเป็นห่วงว่า "ยังปวดศีรษะอยู่หรือเปล่า", "เลิกชกมวยแล้วจะไปทำอะไร" เป็นต้น[1]

หลังการแขวนนวมแล้ว พิชิตหันไปทำกิจการปั๊มน้ำมันและซูเปอร์มาร์เก็ตของตัวเองที่บ้านเกิด และต่อมาได้เดินทางไปเป็นเทรนเนอร์มวยสากลที่ประเทศญี่ปุ่นเช่นเดียวกับ พิชิต ช.ศิริวัฒน์ น้องชาย[2]