เมื่อวันที่ 22 พฤษภาคม พ.ศ. 2501 (ค.ศ. 1958) องค์กรการกีฬา ของประเทศในเอเชียตะวันออกเฉียงใต้ ที่เข้าร่วมการแข่งขันกีฬาเอเชียนเกมส์ ครั้งที่ 3 ซึ่งจัดขึ้นที่กรุงโตเกียวของญี่ปุ่น ร่วมกันจัดการประชุม เพื่อก่อตั้งองค์กรการกีฬาในระดับภูมิภาค โดยหลวงสุขุมนัยประดิษฐ์ อดีตรองประธานคณะกรรมการโอลิมปิกแห่งประเทศไทย และผู้ก่อตั้งองค์การส่งเสริมกีฬาแห่งประเทศไทย (ปัจจุบันคือ การกีฬาแห่งประเทศไทย) เสนอว่าควรจัดการแข่งขันกีฬา ระหว่างประเทศในกลุ่มเอเชียตะวันออกเฉียงใต้ เพื่อสนับสนุนความเข้าใจ และความสัมพันธ์อันดีต่อกัน 0-0

สหพันธ์กีฬาแหลมทอง (SEAP Games Federation) จึงถือกำเนิดขึ้น โดยมีคณะกรรมการสมาชิกผู้ก่อตั้งประกอบด้วย ประเทศไทย มลายา เวียดนามใต้ ราชอาณาจักรลาว พม่า และ ราชอาณาจักรกัมพูชา (หลังจากนั้น สิงคโปร์ เข้าร่วมเป็นสมาชิกด้วย) โดยตกลงร่วมกันว่า จะจัดการแข่งขันกีฬาระหว่างภูมิภาคขึ้นในทุกสองปี คือกีฬาแหลมทอง (Southeast Asian Peninsular Games) หรือ เซียปเกมส์ (SEAP Games) ครั้งที่ 1 จัดขึ้นที่กรุงเทพมหานครของไทย ระหว่างวันที่ 12 - 17 ธันวาคม พ.ศ. 2502 (ค.ศ. 1959) โดยมีเจ้าหน้าที่และนักกีฬา จากประเทศไทย มลายา สิงคโปร์ เวียดนามใต้ ลาว และพม่า เข้าร่วมการแข่งขันกีฬา 12 ชนิด รวมทั้งสิ้น 527 คน สำหรับกัมพูชา เข้าร่วมการแข่งขันเป็นครั้งแรก ในกีฬาแหลมทอง ครั้งที่ 2 เมื่อปี พ.ศ. 2504 (ค.ศ. 1961)

จากนั้นในปี พ.ศ. 2520 (ค.ศ. 1977) สมาพันธ์กีฬาแหลมทองประกาศเปลี่ยนชื่อเป็น สมาพันธ์กีฬาแห่งเอเชียตะวันออกเฉียงใต้ และเปลี่ยนชื่อการแข่งขันเป็น ซีเกมส์ ดังที่ใช้มาจนถึงปัจจุบัน พร้อมทั้งมีมติให้ อินโดนีเซีย ฟิลิปปินส์ และ บรูไน เข้าเป็นสมาชิกและกรรมการสมาพันธ์อย่างเป็นทางการ จึงได้สิทธิเข้าร่วมการแข่งขันครั้งที่ 9 ที่กัวลาลัมเปอร์ของมาเลเซีย เป็นครั้งแรกด้วย และในปี พ.ศ. 2546 (ค.ศ. 2003) สมาพันธ์ฯ มีมติให้ ติมอร์-เลสเต เข้าร่วมการแข่งขันเป็นครั้งแรกในซีเกมส์ครั้งที่ 22 ที่ฮานอยของเวียดนาม

สำนักงาน

สมาพันธ์กีฬาแห่งเอเชียตะวันออกเฉียงใต้ มีสำนักงานตั้งอยู่เลขที่ 154 กรีฑาสถานแห่งชาติ ถนนพระรามที่ 1 แขวงวังใหม่ เขตปทุมวัน กรุงเทพมหานคร ประเทศไทย และประกอบพิธีเปิดเมื่อปี พ.ศ. 2552 (ค.ศ. 2009) ในวาระครบรอบ 48 ปีของซีเกมส์ โดยนับตั้งแต่การแข่งขันกีฬาแหลมทองเป็นต้นมา