การสร้างเขื่อนริเริ่มขึ้นในชื่อ โครงการน้ำพอง เมื่อ พ.ศ. 2503 โดยได้รับความร่วมมือจากกองทุนพิเศษแห่งสหประชาชาติ ทำพิธีวางศิลาฤกษ์ เมื่อวันที่ 10 พฤษภาคม พ.ศ. 2507 ดำเนินการสร้างแล้วเสร็จในปี พ.ศ. 2508 และเนื่องจากบริเวณที่สร้างเขื่อน มีลักษณะภูมิประเทศเป็นแม่น้ำที่ไหลผ่านช่องเขาทั้งสอง ซึ่งแม่น้ำพองดูเหมือนถูกหนีบ ชาวบ้านจึงเรียกเขื่อนนี้ว่า เขื่อนพองหนีบ ตามชื่อดั้งเดิมของบริเวณนี้

เมื่อวันที่ 14 มีนาคม พ.ศ. 2509 พระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดชเสด็จพระราชดำเนินพร้อมด้วยสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ และสมเด็จพระเจ้าลูกเธอ เจ้าฟ้าอุบลรัตนราชกัญญา สิริวัฒนาพรรณวดี (ฐานันดรศักดิ์ในขณะนั้น) ไปทรงประกอบพิธีเปิดเขื่อน พระราชทานชื่อเขื่อนนี้ว่า เขื่อนอุบลรัตน์