เมดันเริ่มต้นเป็นหมู่บ้านที่เรียกว่า กัมปงเมดัน (หมู่บ้านเมดัน) ก่อตั้งโดย Guru Patimpus ประมาณปี ค.ศ. 1590 พื้นที่ดั้งเดิมของเมดันเป็นพื้นที่บริเวณที่แม่น้ำเดอลี (Deli River) และแม่น้ำบาบูรา (Babura River) มาบรรจบกัน พ่อค้าชาวอาหรับในช่วงต้นศตวรรษที่ 16 มีการบันทึกว่า ชื่อเมืองเมดันมีที่มาจากมะดีนะฮ์ ซึ่งเป็นชื่อเมืองศักดิ์สิทธิ์ในภาคตะวันตกของซาอุดีอาระเบีย อย่างไรก็ตามมีแหล่งข้อมูลอื่นที่ระบุว่าชื่อของเมดันที่จริงมาจากคำในภาษาฮินดีของอินเดียที่ว่า "Maidan" แปลว่า "พื้นดิน" หรือ "ที่ดิน"

ชนพื้นเมื่องดั้งเดิมของเมดันย้ายถิ่นฐานมาจากคาบสมุทรมลายู ประเทศมาเลเซียปัจจุบัน เมดันอยู่ภายใต้การปกครองของสุลต่านแห่งอาเจะฮ์ มีการพัฒนาจนเจริญรุ่งเรืองอย่างมากและในรัชสมัยปีที่สองของสุลต่าน Deli (ระหว่าง 1669-1698) เมดันเกิดมีสงครามขึ้น และมีการสู้รบกับกองทหารม้าจากอาเจะฮ์ จนทำให้เมดันขาดการเหลียวแลจากอาเจะฮ์ ไม่มีการพัฒนาเท่าที่ควรจนถึงปี ค.ศ. 1860 มีการเข้ามาของชาวดัตช์ มีการริเริ่มเพาะปลูกยาสูบ จนทำให้เมดันเป็นเมืองสำคัญทางด้านเศรษฐกิจในภูมิภาคในปี 1918 เมดันได้กลายเป็นเมืองหลวงอย่างเป็นทางการของจังหวัดสุมาตราเหนือ