หลังแขวนนวมเพราะสภาพร่างกายที่ไม่แข็งแกร่งเหมือนเดิมและมีปัญหาด้านสายตาอีก อันเนื่องจากบอบช้ำจากการชกมวย แสนศักดิ์มีชีวิตความเป็นอยู่ที่ลำบาก เพราะนับจากเสียแชมป์โลกครั้งสุดท้ายไปแล้ว เงินทองที่เคยมีอยู่นับ 10 ล้านที่เคยเก็บหอมรอบริบจากการชกมวยก็ร่อยหรอ ผู้จัดการที่ปลุกปั้นมา คือ สนอง รักวานิช ก็เสียชีวิต กลุ่มผู้สนับสนุนก็ทยอย ๆ จากไป หนำซ้ำยังโดนหลอกจากเพื่อนฝูงและคนรู้จัก รวมถึงคนในวงการมวยด้วย การชกครั้งสุดท้ายของแสนศักดิ์ ซึ่งเป็นขึ้นชิงแชมป์ในรุ่นเวลเตอร์เวท (147 ปอนด์) ของสหพันธ์มวยภาคตะวันออกไกลและแปซิฟิก (OPBF) เจ้าตัวถึงขนาดลงทุนเป็นโปรโมเตอร์เอง แต่ก็ขาดทุนอีก อีกทั้งยังเป็นฝ่ายแพ้คะแนนอีกด้วย รวมทั้งเคยลงสมัครรับเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรสังกัดพรรคชาติไทย ที่เพชรบูรณ์ บ้านเกิด ก็ไม่ได้รับเลือก

จนในที่สุด สายตาข้างขวาที่มีปัญหาของแสนศักดิ์ก็บอดสนิท ส่วนตาข้างซ้ายได้รับการผ่าตัดจนมองเห็นได้ ต้องขอรับความช่วยเหลือจากการกีฬาแห่งประเทศไทยเดือนละ 7,500 บาท และจากสภามวยโลกอีกเดือนละ 9,000 บาท บั้นปลายชีวิตได้อาศัยอยู่กับนางสาวศศวรรณ ดาวัลย์ ภรรยาใหม่และมีลูกสาวบุญธรรมคือ นางสาวปานวาด มั่นศรี