ต้นกำเนิดของพืชกรรมสวนเกิดจากการเปลี่ยนจากการเป็นชุมชนเร่ร่อนที่เปลี่ยนที่อยู่ตามแหล่งล่าสัตว์และเก็บกินอาหารมาเป็นชุมชนอยู่เป็นที่หรือกึ่งเป็นที่ในพื้นที่เพาะปลูก มีการเริ่มเพาะปลูกพืชผลชนิดต่าง ๆ ในขนาดเล็กรอบที่พัก หรือมิฉะนั้นก็เป็นการเดินทางจากที่พักไปยังที่เพาะปลูกตามฤดูแล้วกลับที่พัก เช่น มิลปาหรือไร่ข้าวโพดของวัฒนธรรมอเมริกายุคกลาง[1] ในพื้นที่ป่า งานพืชกรรมสวนมักทำโดยการโค่นและเผา (slash and burn) ของสวีเดน [2] ลักษณะของชุมชนเพาะปลูกทั่วไปจะปลูกต้นไม้ที่เป็นประโยชน์อยู่รอบๆ ชุมชน หรือด้วยการรักษาต้นไม้โดยรอบไว้ตามระบบนิเวศเดิม

ในบางครั้งพืชกรรมสวนมีความแตกต่างไปจากการเกษตร คือ (1) เป็นการเพาะปลูกขนาดเล็ก ใช้แปลงปลูกขนาดเล็กที่ปลูกพืชผลคละหลายชนิดมากกว่าการเป็นแปลงขนาดใหญ่ที่ปลูกพืชชนิดเดียว (2) ปลูกพืชผลหลากชนิดที่มักรวมกับไม้ผล ในอเมริการเหนือก่อนมีการติดต่อกับคนภายนอกมีชุมชนกึ่งอยู่กับที่ชุมชน "อีสเทิร์นวู๊ดแลนด์" (ปลูกข้าวโพด บวบและทานตะวัน) ซึ่งต่างกันเป็นอย่างมากจากชุมชนเรร่อนเคลื่อนย้ายของชาวอินเดียน ในอเมริกากลาง พืชกรรมสวนของอารยธรรมมายาจะใช้วิธีปลูกเพิ่มในป่าเดิมด้วยมะละกอ อโวกาโด โกโก ซีบาและละมุดฝรั่ง ในไร่ข้าวโพดมีการปลูกพืชหลากชนิด เช่น ถั่ว (ใช้ต้นตอข้าวโพดทำร้านค้ำ) บวบ ฟักทองและพริก ในบางวัฒนธรรมใช้ผู้หญิงล้วน ๆ เป็นคนเพาะปลูก [3]