• ประติมากรรมสังข์สัมฤทธิ์ ตั้งอยู่กลางสระน้ำพุเฉลิมพระเกียรติ โดยอยู่บนตำแหน่งที่สูงที่สุดของสวน สังข์และพานหล่อด้วยโลหะทำผิวสัมฤทธิ์ ภายในบรรจุแผ่นยันต์มหาโสฬสมงคลและสังข์องค์จริง ออกแบบส่งน้ำในสระไหลจากปากสังข์ลงสู่สระ ปากสังข์หันสู่ทิศตะวันออกเฉียงเหนือ โดยประติมากรรมมีความหมายดังนี้
  • น้ำที่ไหลออกจากสังข์ แสดงความหมายแทนน้ำพระทัยของ สมเด็จพระนางเจ้าฯ พระบรมราชินีนาถ ที่บริสุทธิ์ดุจสีของน้ำ
  • แปลงดอกไม้รูปร่างคดเคี้ยวในลักษณะธารน้ำ ที่เชื่อมน้ำพุเฉลิมพระเกียรติกับบ่อน้ำพุด้านล่าง แสดงถึงน้ำพระทัยที่ทรงประทานแก่ชาวไทย
  • บ่อน้ำพุด้านล่าง เทียบได้กับพสกนิกรที่ได้รับพระมหากรุณาธิคุณพร้อมใจกันสรรเสริญ
  • ป้อมยามที่เป็นสิ่งก่อสร้างเดิม กลางน้ำพุ เป็นตัวแทนเหล่าผู้กระทำผิดซึ่งยังคงได้รับพระมหากรุณาธิคุณอยู่
• สวนสุขภาพ จัดอุปกรณ์ออกกำลังกายเป็นจุดพร้อมคำแนะนำ มีลานกีฬา เช่น สนามบาสเกตบอล และลานสเก็ต โดยจัดตำแหน่งไม่ให้เกิดการรบกวนระหว่างกิจกรรม พร้อมสนามเด็กเล่นที่จัดไว้อย่างครบครัน สอดคล้องกับแนวคิดของสวนที่เป็น "สวนสุขภาพ"

• พิพิธภัณฑ์ราชทัณฑ์ อยู่ด้านถนนมหาไชยประกอบด้วยอาคาร 4 หลังคือ ตึกศาลอาญา ตึกรักษาการณ์ ตึกร้านค้ากรมราชทัณฑ์และอาคารแดน 9 ภายในจัดแสดงเครื่องมือลงฑัณฑ์และวิวัฒนาการของการราชทัณฑ์ไทย
  • อาคารศาลอาญา แสดงเครื่องมือลงทัณฑ์ และวิธีประหารชีวิตสมัยโบราณ รวมทั้งแสดงการประหารชีวิตในปัจจุบัน อุปกรณ์เกี่ยวกับเรือนจำและการหลบหนีของนักโทษ
  • อาคารรักษาการณ์ แสดงภาพประวัติและอุปกรณ์เครื่องใช้ของเรือนจำพิเศษกรุงเทพมหานคร และเอกสารเกี่ยวกับประวัติการราชทัณฑ์ในอดีต
  • อาคารร้านค้ากรมราชทัณฑ์ จัดจำหน่ายสินค้าราชทัณฑ์และของที่ระลึก
  • อาคารแดน 9 เป็นเรือนนอนผู้ต้องขังในอดีต แสดงสภาพการใช้ชีวิตประจำวันของนักโทษ ระบบการคุมขังและลักษณะอาคารตามแบบตะวันตก

พิพิธภัณฑ์ราชทัณฑ์ จัดตั้งขึ้นเมื่อ พ.ศ. 2482 รวบรวมวัตถุเกี่ยวกับการลงโทษและวัตถุโบราณจากเรือนจำต่างๆ ทั่วประเทศ จัดแสดงที่เรือนจำกลางบางขวาง เมื่อมีการจัดตั้งศูนย์ฝึกอบรมข้าราชการราชทัณฑ์ บริเวณตรงข้ามเรือนจำกลางบางขวาง จึงได้ขนย้ายมาจัดแสดงที่อาคารศูนย์ฝีกอบรมข้าราชการราชทัณฑ์เมื่อ พ.ศ. 2515 และย้ายมาจัดแสดงที่สวนรมณีนาถเมื่อวันที่ พ.ศ. 2542 พร้อมกับการเปิดสวนสาธารณะ

อาคารพิพิธภัณฑ์ราชทัณฑ์ ได้รับรางวัลอาคารอนุรักษ์ดีเด่น จากสมาคมสถาปนิกสยาม ในพระบรมราชูปถัมภ์ พ.ศ. 2540