อาจารย์ปิฏฐะ บุนนาค ผู้บุกเบิกการส่งเสริมปลูกและให้ความรู้เรื่องปาล์ม และได้สะสมพันธุ์ปาล์มเป็นจำนวนมาก เมื่อ พ.ศ. 2536 จึงได้รวบรวมพันธุ์ปาล์ม จัดการเพาะ ปลูก ขุดย้าย มาปลูกไว้ในบริเวณดังกล่าว โดยมีพันธุ์ปาล์มจากแหล่งต่าง ๆ ทั้งภายในและต่างประเทศ ปัจจุบันมีปาล์มประมาณ 260 ชนิด แต่มีจำนวนทั้งหมดหลายหมื่นต้น สำหรับที่มาของคำว่า สวนแสนปาล์ม หมายความว่า มีปาล์มจำนวนมาก และยังตั้งให้สอดคล้องกับอำเภอกำแพงแสน อันเป็นที่ตั้งของวิทยาเขตแห่งนี้ด้วย