บริเวณปากแม่น้ำรอตเทอ เป็นที่ลุ่มที่เป็นดินโคลน มีการตั้งถิ่นฐานตั้งแต่ราว ค.ศ. 900 ต่อมาเกิดน้ำท่วมครั้งใหญ่ในปี ค.ศ. 1150 นำไปสู่การสร้างคันดินและเขื่อนกั้นบริเวณฝั่งเหนือของคลองนิวมาสในปัจจุบัน เขื่อนกั้นแม่น้ำรอตเทอนี้แล้วเสร็จราวๆปี ค.ศ. 1270 ตั้งอยู่บริเวณถนนโฮกสตราตในปัจจุบัน และเป็นที่มาของชื่อ รอตเทอร์ดาม

เมื่อวันที่ 7 กรกฎาคม ค.ศ. 1340 เคาน์วิลเลิมที่ 4 แห่งฮอลแลนด์ยกระดับรอตเทอร์ดามขึ้นเป็นเมืองซึ่งขณะนั้นมีประชากรอยู่ไม่กี่พันคน ต่อมาในปี ค.ศ. 1350 มีการสร้างคลองรอตเตอร์ดัมเซอสคีขึ้น อำนวยความสะดวกในการคมนาคมทางน้ำไปสู่เมืองใหญ่อื่นๆทางตอนเหนือ ทำให้รอตเทอร์ดามคล่อยๆกลายเป็นศูนย์กลางการขนส่งสินค้าจากเนเธอร์แลนด์ไปสู่อังกฤษและเยอรมนี[5] เติบโตขึ้นมาเป็นเมืองขนาดใหญ่ขึ้น ท่าเรือค่อยๆมีความสำคัญจนมาเป็นหนึ่งในหกท่าเรือสำคัญในการค้ากับดินแดนอาณานิคมของบริษัทอินเดียตะวันออกของเนเธอร์แลนด์ในช่วงยุคทองของเนเธอร์แลนด์

แต่สิ่งที่ทำให้รอตเทอร์ดามพัฒนาขึ้นอย่างรวดเร็วคือการสร้างเส้นทางชลประทานใหม่คือ นิววาเตอร์เวก แล้วเสร็จในปี ค.ศ. 1872 ท่าเรือของรอตเทอร์ดามขยับขยายใหญ่ขึ้น มีการสร้างวิตเตอเฮาส์ หรืออาคารบ้านสีขาว[6] ในแบบปราสาทฝรั่งเศสโดยได้รับแรงบันดาลใจจากตึกระฟ้าในสหรัฐอเมริกา อาคารแห่งนี้กลายเป็นอาคารสำนักงานที่สูงที่สุดในยุโรปด้วยความสูง 45 เมตร เป็นเครื่องบ่งชี้การพัฒนาอย่างรวดเร็วของรอตเทอร์ดาม

ช่วงสงครามโลกครั้งที่หนึ่ง เนเธอร์แลนด์ดำเนินนโยบายเป็นกลาง รอตเทอร์ดามกลายเป็นจุดที่มีการสืบราชการลับสำคัญของอังกฤษและเยอรมนี เนื่องจากทำเลที่ตั้งที่อยู่ระหว่างกลางระหว่างสองประเทศจึงมีสายลับอยู่เป็นจำนวนมาก ในช่วงนี้ ผู้ลี้ภัยอพยพมาจากประเทศเบลเยียมเป็นจำนวนถึง 25,000 คนเพราะในขณะนั้นตกอยู่ภายใต้การยึดครองของเยอรมนี[7]

ต่อมาในช่วงสงครามโลกครั้งที่สอง นาซีเยอรมนีเข้ายึดครองเนเธอร์แลนด์เมื่อวันที่ 10 พฤษภาคม ค.ศ. 1940[8] เกิดการสู้รบอย่างหนักจนกองทัพเนเธอร์แลนด์ยอมจำนนในอีก 5 วันต่อมา ผลจากการสู้รบคือรอตเทอร์ดามได้รับความเสียหายอย่างหนักโดยเฉพาะจากปฏิบัติการรอตเทอร์ดามบลิทซ์ กองทัพอากาศเยอรมันโจมตีใจกลางเมือง พลเรือนกว่า 80,000 คนไร้ที่อยู่อาศัยและกว่า 900 คนต้องสังเวยชีวิต[9] รอตเทอร์ดามถูกปลดแอกโดยกองทัพสัมพันธมิตรในปี ค.ศ. 1945 ก่อนสงครามโลกครั้งที่สองสิ้นสุดไม่นาน

จากนั้นในทศวรรษที่ 1950 ถึง 1970 มีการสร้างเมืองขึ้นมาใหม่อีกครั้งแต่อาคารยังมีลักษณะไม่สูงมากนัก จนกระทั่งในทศวรรษที่ 1980 สภาเมืองอนุมัติให้มีการพัฒนาสถาปัตยกรรมแบบใหม่ จึงเกิดอพาร์ทเมนต์ อาคารสำนักงาน และสิ่งก่อสร้างรูปแบบใหม่รูปร่างแปลกตาและสูงใหญ่ เกิดการพัฒนาย่านธุรกิจโกปฟันเซาด์ขึ้นทางฝั่งใต้ของแม่น้ำในทศวรรษ 1990 และอาคารสมัยใหม่ถูกสร้างขึ้นเรื่อยมาจนถึงปัจจุบัน