พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว รัชกาลที่ 3 ทรงมีดำริให้จัดสร้างพระเจดีย์ภูเขาทอง ไว้เป็นปูชนียสถานในพระนครเหมือนดั่งที่กรุงเก่า มีวัดภูเขาทอง ซึ่งตั้งอยู่ที่ชายทุ่ง มีองค์พระเจดีย์เป็นที่สำหรับชาวพระนครศรีอยุธยาลงไปประชุมเล่นเพลง และสักวาในเทศกาลประจำปี โดยรัชกาลที่ 3 ได้ทรงเลือกเอาบริเวณวัดสระเกศเป็นที่ก่อสร้าง

เริ่มก่อสร้างโดยใช้โครงไม้ทำเป็นรูปปรางค์ใหญ่ ขุดฐานเอาไม้ซุงปูเป็นตาราง เอาศิลาแลงก่อขึ้นจนเสมอดินแล้วจึงก่อด้วยอิฐ ในองค์พระปรางค์เอาศิลาก้อนที่ราษฏรเก็บมาขายใส่ลงไปแต่ก่อสร้างได้ไม่เท่าไรก็ทรุด ยุบตัวพังลงมาเนื่องจากพื้นที่ก่อสร้างอยู่ใกล้ชายคลอง พื้นดินไม่แข็งแรงพอจึงต้องปักเสารอบๆองค์พระปรางค์หลายๆชั้นไม่ให้ดินทลายออกไป จึงเริ่มก่อใหม่แต่ก็ยังทรุดอีกจึงยุติการก่อสร้างชั่วคราวจนสิ้นรัชกาลที่ 3

ครั้นพอถึงรัชกาลที่ 4 เมื่อ พ.ศ. 2406 พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว จึงโปรดเกล้าให้สร้างใหม่

เดือน 6 ปีฉลู พ.ศ. 2408 รัชกาลที่ 4 ได้เสด็จไปวางศิลาฤกษ์และให้เปลี่ยนชื่อใหม่ ตามพระเมรุบรมบรรพตที่ท้องสนามหลวง จากภูเขาทองเป็น "บรมบรรพต"การก่อสร้างครั้งนี้ได้แปลงพระเจดีย์องค์เดิม ให้เป็นภูเขามีพระเจดีย์อยู่ด้านบน บรรจุพระบรมสารีริกธาตุไว้บนยอด มีบันไดเวียนขึ้นลง 2 สาย เพื่อสะดวกในเวลาเทศกาล

การก่อสร้างในสมัยรัชกาลที่ 4 ก็ยังไม่แล้วเสร็จ จนถึงสมัยรัชกาลที่ 5 จึงโปรดเกล้า ฯ ให้ทำการก่อสร้างภูเขาทองที่ยังค้างอยู่จนสำเร็จ

การบรรจุพระบรมสารีริกธาตุใว้ภายในองค์พระเจดีย์มีอยู่หลายครั้ง ที่สำคัญคือเมื่อ พ.ศ. 2442 รัฐบาลอินเดียได้ถวายพระบรมสารีริกธาตุ ที่ขุดได้จากเนินพระเจดีย์เก่าที่เมืองกบิลพัศดุ์บรรจุอยู่ภายในผอบที่มีอักษร พราหมี หรือ เมาริยะ จารึกใว้ว่า "พระบรมสารีริกธาตุนี้ เป็นของพระพุทธเจ้า (สมณโคดม) ตระกูลศากยราช ได้รับแบ่งปันในเวลาถวายพระเพลิงพุทธสรีระ" ให้แด่รัชกาลที่ 5 แล้วจึงได้โปรดเกล้าให้นำมาบรรจุใว้ในองค์พระเจดีย์

ในช่วงวันลอยกระทง ของทุกปี ทางวัดสระเกศราชวรมหาวิหารจะจัดงานประเพณี เรียกว่า "งานภูเขาทอง" ระยะเวลาราว 7-10 วัน เป็นประจำ นับว่าเป็นงานวัดที่สำคัญงานหนึ่ง