ในปี พ.ศ. 2394 บรูกถูกกล่าวว่าใช้อำนาจในทางที่ผิด และถูกสอบสวนโดยคณะกรรมการสอบสวนที่โปรดเกล้าแต่งตั้งจากสิงคโปร์ แม้จะพ้นข้อหา แต่เหตุการณ์ก็ได้หลอกหลอนบรูกอยู่ตลอดเวลา

บรูกเสียชีวิตเมื่อ พ.ศ. 2411จากเส้นโลหิตในสมองแตก 3 ครั้งในเวลา 10 ปี หลานชายของบรูก ชื่อ ชาร์ลส์ แอนโทนี จอห์นสัน บรูก ซึ่งเป็นรายามุดา (มกุฎราชกุมาร) ได้รับการแต่งตั้งให้ดำรงดำแหน่ง "รายา" องค์ต่อมา

เรื่องราวเกี่ยวกับเซอร์ เจมส์ บรูก ได้รับการกล่าวขานนำไปเขียนหนังสือและแต่งบทละครหลายเรื่อง ตัวละครเรื่อง "ลอร์ดจิม" โดยโจเซฟ คอนราด ก็ใช้ชีวิตจริงของเซอร์ เจมส์ บรูกเป็นแนวทางในการสร้างเรื่อง มีการนำชื่อของบรูกตั้งชื่อต้น "หม้อข้าวหม้อแกงลิง" ในชื่อวิทยาศาสตร์ว่า "Nepenthes rajah" เพื่อเป็นเกียรติแก่เขาโดยโจเซฟ ดาลตัน ฮุกเกอร์