ตลอดระยะเวลา 33 ปี ที่พระยาภะรตราชา (หม่อมหลวงทศทิศ อิศรเสนา) ได้ปฏิบัติหน้าที่ผู้บังคับการวชิราวุธวิทยาลัยมานั้น พระยาภะรตราชาได้รับพระราชทานพระมหากรุณาจากพระบาทสมเด็จพระมหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร และพระบรมวงศ์มาโดยตลอด พระยาภะรตราชาเคยกราบถวายบังคมทูลพระกรุณาขอลาออกจากตำแหน่งเพราะเหตุสูงอายุ แต่พระบาทสมเด็จพระเจ้าอยู่หัวมีพระราชดำรัสว่า "หาคนมาแทนยาก" จึงไม่โปรดเกล้าฯ ให้ออกจากตำแหน่ง และแม้ว่าท่านจะได้เสนอให้คณะกรรมการอำนวยการวชิราวุธวิทยาลัยกำหนดวาระการดำรงตำแหน่งของผู้บังคับการวชิราวุธวิทยาลัยไว้ในข้อบังคับกรรมการอำนวยการวชิราวุธวิทยาลัย พ.ศ. 2511 โดยให้ผู้บังคับการวชิราวุธวิทยาลัยมีวาระการดำรงตำแหน่งคราวละ 5 ปี แต่เมื่อครบวาระการดำรงตำแหน่งแล้ว คณะกรรมการอำนวยการวชิราวุธวิทยาลัยก็ยังคงกราบบังคมทูลพระกรุณาขอพระราชทานพระบรมราชานุมัติให้พระยาภะรตราชาคงอยู่ในตำแหน่งผู้บังคับการวชิราวุธวิทยาลัย พระยาภะรตราชาจึงต้องปฏิบัติหน้าที่ผู้บังคับการวชิราวุธวิทยาลัยต่อมา และเมื่อพระบาทสมเด็จพระมหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร เสด็จพระราชดำเนินวชิราวุธวิทยาลัยครั้งสุดท้ายเมื่อวันที่ 14 กุมภาพันธ์ พ.ศ. 2517 ก่อนที่จะประทับรถยนต์พระที่นั่ง ยังได้เสด็จพระราชดำเนินย้อนกลับมาพระราชทานกระแสพระราชดำรัสเป็นการส่วนพระองค์แก่พระยาภะรตราชาที่รอส่งเสด็จว่า “ปีนี้ดูเจ้าคุณแข็งแรงดี อยู่ช่วยกันไปก่อนนะ” พระยาภะรตราชาจึงได้รับพระราชกระแสใส่เกล้าฯ และคงสนองพระเดชพระคุณในหน้าที่ผู้บังคับกาวชิราวุธวิทยาลัยต่อมาจนถึงวาระสุดท้ายแห่งชีวิต