พลตำรวจโท ต่อศักดิ์ สุขวิมล เกิดเมื่อวันที่ 15 มกราคม พ.ศ. 2507 ที่จังหวัดเพชรบุรี เป็นบุตรคนสุดท้องในบรรดาพี่น้อง 5 คนของนายนิพนธ์ และนางสมนึก สุขวิมล และเป็นน้องชายของพลอากาศเอก สถิตย์พงษ์ สุขวิมล ราชเลขานุการในพระองค์และเลขาธิการพระราชวัง ด้านชีวิตครอบครัวสมรสกับนาง นิภาพรรณ สุขวิมล มีบุตรสาวทั้งสิ้น 2 คน[1]