ชาวเกาะมัลดีฟส์ รู้จักหมู่เกาะชาโกสเป็นอย่างดี[8] ในตำนานของมัลดีฟส์ พวกเขารู้จักในชื่อ Feyhandheebu (มัลดีฟส์: ފޭހަންދީބު ) หรือ Hollhavai (ชื่อหลังเป็นคำเรียกโดยชาวเกาะมัลดีฟส์ทางใต้ ที่อยู่ใกล้กับหมู่เกาะชาโกส) จากเรื่องเล่าของชาวเกาะมัลดีฟส์ทางใต้ เมื่อมีพ่อค้าหรือชาวประมงประสบเหตุสูญหายในทะเล ก็มักจะพบว่าติดอยู่บนเกาะของหมู่เกาะชาโกส และในที่สุดพวกเขาจะถูกช่วยเหลือและได้เดินทางกลับบ้าน อย่างไรก็ตาม หมู่เกาะนี้ถูกพิจารณาว่าอยู่ไกลเกินไปจากศูนย์อำนาจของราชวงศ์มัลดีฟส์ในการที่จะตั้งถิ่นฐานอย่างถาวร ดังนั้นหมู่เกาะชาโกสจึงถูกละเลยจากประเทศเพื่อนบ้านดังกล่าว

เกาะต่าง ๆ ของหมู่เกาะชาโกสถูกทำแผนที่โดยวัชกู ดา กามา (โปรตุเกส: Vasco da Gama) ในช่วงต้นของคริสต์ศตวรรษที่ 16 ต่อมาในคริสต์ศตวรรษี่ 18 ฝรั่งเศสได้อ้างสิทธิ์ในดินแดนโดยเป็นส่วนหนึ่งของมอริเชียส พวกเขาตั้งถิ่นฐานครั้งแรกโดยชาวฝรั่งเศสในอาณานิคมมอริเชียส ได้นำแรงงานทาสชาวแอฟริกันและแรงงานชาวอินเดียมาทำการปลูกสวนมะพร้าว[9] ในปี พ.ศ. 2353 มอริเชียสได้ถูกยึดครองโดยสหราชอาณาจักรโดยฝรั่งเศสยอมยกดินแดนให้ตามสนธิสัญญาปารีส (ค.ศ. 1814), (เพื่อการยุติสงครามมหาสัมพันธมิตรครั้งที่ 6)

ในปี 2508 สหราชอาณาจักรแยกหมู่เกาะชาโกสออกจากมอริเชียส และแยกเกาะ Aldabra, Farquhar และ Desroches (Des Roches) จากเซเชลส์ มาจัดตั้งเป็น บริติชอินเดียนโอเชียนเทร์ริทอรี วัตถุประสงค์เพื่อสนับสนุนในการก่อสร้างหน่วยงานทางทหาร เพื่อดูแลผลประโยชน์ของสหราชอาณาจักรและสหรัฐอเมริกา หมู่เกาะถูกจัดตั้งเป็นดินแดนโพ้นทะเลของสหราชอาณาจักร ในวันที่ 8 พฤศจิกายน พ.ศ. 2508[10] ต่อมาในวันที่ 23 มิถุนายน พ.ศ. 2519 เกาะ Aldabra, Farquhar และ Desroches ได้กลับไปเป็นส่วนหนึ่งของประเทศเซเชลส์ ซึ่งเป็นผลของการประกาศเอกราช หลังจากนั้นบริติชอินเดียนโอเชียนเทร์ริทอรี จึงประกอบด้วยเกาะหลักเพียงหกกลุ่มของหมู่เกาะชาโกสเท่านั้น

ในปี พ.ศ. 2533 ธงของบริติชอินเดียนโอเชียนเทร์ริทอรีได้ถูกนำมาใช้เป็นครั้งแรก ผืนธงประกอบด้วยภาพสัญลักษณ์ของธงสหภาพ (Union Jack), มีภาพของมหาสมุทรอินเดียซึ่งเป็นที่ตั้งของหมู่เกาะในรูปแบบของริ้วคลื่นสีขาวและน้ำเงิน และมีภาพต้นมะพร้าวเหนือภาพของมงกุฎแห่งบริเตน[11]