ได้มีการค้นพบหลักฐานการตั้งรกรากของมนุษย์สมัยยุคสำริด (ประมาณ 3,000-600 ปีก่อนคริสตกาล) และหลังจากชัยชนะของชาวโรมันต่อชาวกอลในปี 51 ก่อนคริสตกาล เมืองได้ถูกเรียกว่า Civitas Albigensium การขุดค้นทางโบราณคดีไม่พบหลักฐานสมัยโรมันเก่า จึงสันนิษฐานได้ว่าอาลบีจัดเป็นเมืองในยุคโรมันสมัยใหม่

ในปีค.ศ. 1040 ได้มีการขยายตัวเมือง และมีการสร้างสะพาน (สะพานเก่า หรือ Pont Vieux) มีการขยายเมืองใหม่ เนื่องจากการค้าขายระหว่างเมืองทำให้อาลบีเริ่มมีความมั่งคั่งทางเศรษฐกิจ อีกทั้งยังมีการเรียกเก็บค่าผ่านทางจากใช้สะพานอีกด้วย

ในปี.ศ. 1208 พระสันตะปาปาและกษัตริย์แห่งฝรั่งเศสได้ร่วมมือกันทำสงครามกับพวกนอกรีต แคทาร์ พื้นที่แถบนั้นประสบความยากลำบากจากสงครามจนต้องถูกผนวกเป็นเมืองขึ้นต่อกษัตริย์ฝรั่งเศส

หลังจากสงครามเสร็จสิ้นลงราวปลายคริสต์ศตวรรษที่ 13 พระสังฆราชแบร์นาร์ เดอ กัสตาแน ได้สร้างพระราชวังเสร็จ โดยมีลักษณะเป็นป้อมปราการ โดยต่อมาเขาได้สั่งให้มีการสร้างมหาวิหารนักบุญเซซีลีอาตั้งแต่ปีค.ศ. 1282 ในขณะนั้นเป็นยุคที่รุ่งเรืองทางการค้า จากการปลูกต้นคราม พืชที่ใช้สำหรับการย้อมผ้า เพื่อการค้า โดยมีประจักษ์พยานจากความร่ำรวยได้จากบ้านเรือนที่ตกแต่งแบบเรอแนซ็องส์ อาลบีก็ได้เก็บรักษามรดกความสวยงามทางสถาปัตยกรรมตั้งแต่สมัยโบราณมาจนถึงทุกวันนี้