พระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์ ประสูติเมื่อวันที่ 7 พฤษภาคม พ.ศ. 2398 โดยประสูติแต่เจ้าจอมมารดากลิ่น พระสนมเอก ธิดาพระยาดำรงราชพลขันธ์ (จุ้ย คชเสนี) บุตรของเจ้าพระยามหาโยธา (ทอเรียะ คชเสนี) ทรงว่าราชการกรมพระนครบาล ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ในขณะนั้นเรียกชื่อว่า "คอมมิตตี กรมพระนครบาล" ทรงเป็นผู้ปรับปรุงและจัดระเบียบกิจการตำรวจกรมกองตระเวน ตามแบบอย่างของสิงคโปร์ หลังจากได้โดยเสด็จพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ประพาสสิงคโปร์ เมื่อ ร.ศ. 109 (พ.ศ. 2433) ต่อมาได้พัฒนามาเป็นกิจการตำรวจไทย ในปี พ.ศ. 2417 โปรดให้ตั้งองคมนตรีสภา (เดิมคือ ปรีวีเคาน์ซิล) ทรงพระกรุณาโปรดเกล้าฯ ให้พระเจ้าน้องยาเธอ พระองค์เจ้ากฤษดาภินิหาร (พระอิสริยยศในขณะนั้น) เป็นองคมนตรีในครั้งนั้นด้วย และทรงเป็นองคมนตรี[4]ในรัชสมัยพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ตลอดพระชนมายุ

พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯ ให้สถาปนาขึ้นเป็น พระเจ้าน้องยาเธอ กรมหมื่นนเรศวรฤทธิ์ เมื่อ พ.ศ. 2418 ต่อมา ทรงพระกรุณาโปรดเกล้าฯ ให้เป็น พระเจ้าน้องยาเธอ กรมหลวงนเรศรวรฤทธิ์ เมื่อ พ.ศ. 2442 ทรงรับราชการเป็นสมุหมนตรี เสนาบดีกระทรวงมุรธาธร และเสนาบดีที่ปรึกษา เป็นต้น

พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯ ให้เป็น พระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์ เมื่อ พ.ศ. 2454 มีพระนามเต็มว่า

"พระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์ มหิศวรราชรวิวงศ์ สิทธิประสงค์กฤดาธิการ สุทธสันดานสีตลหฤทัย มไหศวริยราชนิติธาดา สุปรีชาสรรพกิจโกศล วิมลสุจริตจริยานุวัตร พุทธาทิรัตนสรณารักษ์ อุดมศักดิ์บพิตร"[5]

พระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์ ประทับที่วังถนนพระอาทิตย์ ริมแม่น้ำเจ้าพระยา พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวทรงพระกรุณาโปรดเกล้าฯ ให้สร้างตำหนักพระราชทานบนที่ดินมรดกของพระองค์ ต่อมาเมื่อทรงเจริญพระชันษาครบ 5 รอบใน พ.ศ. 2460 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวได้พระราชทานพระราชทรัพย์สำหรับทรงสร้างตำหนักหลังใหม่ ชื่อ "วังมะลิวัลย์" ส่วนเจ้าจอมมารดากลิ่นยังคงพำนักอยู่ที่ตำหนักเดิม

พระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์ ประทับที่วังมะลิวัลย์จนสิ้นพระชนม์เมื่อวันที่ 10 สิงหาคม พ.ศ. 2468[6] พระชันษาได้ 70 ปี ใกล้เคียงกับที่เจ้าจอมมารดากลิ่นถึงแก่อนิจกรรมเมื่อปี พ.ศ. 2468 และได้ประดิษฐานพระโกศพระศพ และโกศศพไว้เคียงกันที่ท้องพระโรงของวังมะลิวัลย์ มีพระราชพิธีพระราชทานเพลิงพระศพ ณ พระเมรุ วัดเบญจมบพิตรดุสิตวนาราม