ใน บันทึกความทรงจำของบาทหลวงเดอ แบซ ระบุถึงโทสจริตของพระองค์หลายครั้ง เป็นต้นว่า ครั้งหนึ่งพระองค์เคยตามเสด็จสมเด็จพระนารายณ์มหาราชสำหรับประพาสล่าสัตว์โดยทรงพระคชาธารเข้าร่วมขบวนเสด็จพระราชดำเนิน เจ้าฟ้าอภัยทศทรงบังคับช้างเข้าชนกับช้างเถื่อนที่แหวกวงล้อมออกมา สมเด็จพระนารายณ์ก็เกรงว่าพระอนุชาจะเป็นอันตรายจึงทรงตรัสห้าม แต่เจ้าฟ้าอภัยทศทรงมองว่าพระเชษฐาธิราชสบประมาทพระองค์ว่าขลาดเขลา จึงแสดงพระโทสะ ขณะที่สมเด็จพระนารายณ์ทรงระงับโทสจริตและมิได้แสดงพระอาการโกรธกริ้วออกมา[5] และในกาลต่อมาได้มีช้างพลายตกมันออกอาละวาดในเมือง ชนสิ่งของต่าง ๆ กระจัดกระจาย สมเด็จพระนารายณ์มหาราชจึงรับสั่งเจ้าฟ้าอภัยทศให้แสดงศักยภาพในการปราบช้าง แต่ทว่าเจ้าฟ้าอภัยทศทำไม่สำเร็จ ทั้งยังถูกช้างชนจนตกลงพื้น พระองค์จึงรู้สึกอับอายขายพระพักตร์[5]

นอกจากนี้บาทหลวงเดอ แบซ ยังบันทึกว่าเจ้าฟ้าอภัยทศเคยศึกษาพระคริสต์ธรรม ทรงเก็บรักษาไม้กางเขนที่มงซีเญอร์เดอเมเตโลโปลิส (Monseigneur de Métellopolis) ถวายไว้ภายในพระตำหนักส่วนพระองค์ ทาสคนหนึ่งของเจ้าฟ้าอภัยทศอ้างว่าพบเจ้าฟ้าอภัยทศทรงเคารพบูชาไม้กางเขนนี้ด้วยการกราบบ่อยครั้ง[5]