พระยาจุฬาราชมนตรี (เซน)เป็นบุตรของพระยาเพชรพิชัย (ใจ)กับคุณหญิงแฉ่ง เกิดเมื่อปีใดไม่ปรากฏ บิดาและน้องชายของท่านเปลี่ยนไปนับถือศาสนาพุทธในสมัยสมเด็จพระเจ้าอยู่หัวบรมโกศ ส่วนท่านยังนับถือศาสนาอิสลาม นิกายชีอะหฺต่อมา เข้ารับราชการในกรมท่าขวาและกองอาสาจามจนได้รับตำแหน่งจุฬาราชมนตรี ได้รับพระราชทานเกียรติยศเสมอเจ้าพระยาพระคลังแต่มิได้ตั้งให้เป็นเจ้าพระยา ไม่ทราบว่าเสียชีวิตเมื่อใด บุตรของท่านชื่อ ก้อนแก้ว ได้เป็นจุฬาราชมนตรีคนแรกในสมัยรัตนโกสินทร์