นายถาวรเป็นบุตรชายของนายพวงแก้ว และนางเริ่ม เสนเนียม โดยบิดามีอาชีพเป็นชาวนา[1] และมีน้องชายเป็น ส.ส.พรรคประชาธิปัตย์ จังหวัดสงขลา เขต 4 ด้วยกัน คือ นายวินัย เสนเนียม (ปัจจุบันเสียชีวิตแล้ว) ชีวิตครอบครัว นายถาวร สมรสกับ พล.ต.หญิง จันทิมา เสนเนียม ทั้งคู่มีบุตรด้วยกันทั้งหมด 3 คน เป็นหญิง 2 ชาย 1 ในปี พ.ศ. 2558 นายถาวรได้รับรางวัลพ่อตัวอย่างแห่งชาติ จากงานวันพ่อแห่งชาติ ครั้งที่ 36 ประจำปี 2558[15]

และหลังจากการรัฐประหารในปี พ.ศ. 2557 ทางคณะรักษาความสงบแห่งชาติ (คสช.) ได้มีคำสั่งห้ามพรรคการเมืองรวมถึงนักการเมืองทำกิจกรรมทางการเมือง นายถาวรได้ใช้เวลาช่วงนี้เป็นโปรโมเตอร์จัดการแข่งขันชกมวยไทย โดยทำการแข่งขันเป็นประจำที่เวทีมีนบุรีสปอร์ต เขตมีนบุรี มีการถ่ายทอดทางสถานีโทรทัศน์ทีนิวส์ ทุกคืนวันเสาร์ เริ่มตั้งแต่วันที่ 30 พฤษภาคม พ.ศ. 2558[16] และในวันที่ 23-24 มกราคม พ.ศ. 2559 ยังได้จัดคู่มวยไทยอีกกว่า 20 คู่ ชกในงานกิจกรรมสมุยเฟสติวัล ที่เกาะสมุย ซึ่งนับเป็นรายการใหญ่อีกด้วย[17]