แต่เดิมใต้สวนสวรรค์เป็นคลัง ต่อมาภายหลังได้ย้ายคลัง ไปอยู่ที่อื่นแล้วจึงปรับเป็นที่โล่ง จากพระที่นั่งอมรพิมานมณีจะมีสะพานเชื่อมระหว่างสวนสวรรค์กับพระตำหนัก ที่ประทับของสมเด็จพระศรีสวรินทิรา บรมราชเทวี ฯ ได้โดยตรง ดังปรากฏใน จดหมายเหตุรายวันของสมเด็จพระบรมราชปิตุลาธิบดี เจ้าฟ้ามหาวชิรุณหิศ พระราชโอรสองค์ใหญ่ ซึ่งประสูติแต่ สมเด็จพระนางเจ้าสว่างวัฒนา พระบรมราชเทวี ว่า " ทรงได้เข้าเฝ้า ฯ ที่สวนสวรรค์แห่งนี้อยู่เนือง ๆ " ปัจจุบันสวนนี้ถูกรื้อลงแล้ว และสร้างพระที่นั่งเทวารัณยสถานขึ้นแทน