สมัยอิบรอฮีมและอิสมาอีล

ในอัลกุรอ่าน [2:127][10] อธิบายว่าอิบรอฮีม กับอิสมาอีล ได้สร้างกะอ์บะฮ์ในบริเวณที่พระผู้เป็นเจ้าตรัสและชี้ไปที่บริเวณที่อยู่ใกล้กับบ่อน้ำซัมซัม ประมาณ 2130 ก่อนคริสตกาล หลังจากที่อิบรอฮีมสร้างกะอ์บะฮ์แล้ว มะลาอีกะฮ์ได้นำหินดำ รายงานจากความเชื่อว่าหินนี้ได้ตกลงมาจากสวรรค์ ลงไปยังบริเวณใกล้ๆ เทือกเขาอบู กุบัยด์ และศาสดามุฮัมหมัดได้กล่าวว่า หินดำ "ลงมาจากสวรรค์โดยที่มันเป็นสีขาว แต่เนื่องจากบาปของลูกหลานอาดัมทำให้มันเป็นสีดำ" หินดำจึงถูกเชื่อว่าเป็นสิ่งเดียวที่ยังคงเหลือจากการก่อสร้างครั้งแรก

สมัยมุฮัมมัด

จนกระทั่งมุฮัมมัดยึดครองมักกะฮ์ในค.ศ.630 ท่านและอะลีทำลายรูปปั้นทั้งหมดตามที่กุรอานได้กล่าวไว้[11] เป็นจุดสิ้นสุดของพหุเทวนิยมและเริ่มการปกครองแบบเอกเทวนิยม.[12][13][14][15]

ราชวงศ์อุมัยยะฮ์

การปรับปรุงครั้งแรกเริ่มในปีค.ศ.692 โดยอับดุลมาลิก อิบนุ มัรฺวาน[16] หลังจากศตวรรษที่ 8 เสามัสยิดถูกเปลี่ยนเป็นกระเบี้องโดยอัลวะลีดที่ 1[17][18]

ราชวงศ์ออตโตมัน

ในปีค.ศ. 1570 สุลต่านเซลิมที่ 2 และมิมาร ซินาน ปรับปรุงมัสยิด โดยสิ่งก่อสร้างนี้ยังคงมีอยู่ในปัจจุบัน

สมัยซาอุดีอาระเบีย

การขยายครั้งใหญ่เกิดขึ้นระหว่าง 1955 และ 1973 โดยเพิ่มหออะซานสี่หอ เปลี่ยนเพดาน และพื้นให้สวยขึ้น ในระหว่างการปรับปรุงมีหลายอย่างที่สร้างในสมัยออตโตมันถูกทำลาย

ปัจจุบัน

ในปี 2007 มีการขยายมัสยิดที่จะเสร็จในปี 2020 โดยสมเด็จพระราชาธิบดีอับดุลลอห์ บิน อับดัลอะซิซ อาล สะอูดเพื่อเพิ่มความจุกว่าสองล้านคน อย่างไรก็ตามพระองค์สวรรคตในปี 2015 หลังจากนั้นสมเด็จพระราชาธิบดีซัลมาน บิน อับดุลอะซีซ อาล ซะอูดได้ดำเนินโครงการต่อ[19] โดยในปี 2016 โดยมีค่าใช้จ่ายกว่าหนึ่งแสนล้านดอลลาร์[20]