อุทยานแห่งชาติภูเวียง มีลักษณะภูมิประเทศโดยทั่วไปเป็นเทือกเขาล้อมรอบเป็นวงอยู่ 2 ชั้น ตรงกลางเป็นแอ่งขนาดใหญ่ คล้ายแอ่งกระทะซึ่งเป็นที่ราบและลอนลาด ส่วนพื้นที่โดยรอบแอ่งมีลักษณะเป็นเทือกเขาซึ่งมีมุมเทเข้าหาใจกลางแอ่ง ประกอบด้วยเทือกเขาที่มีความลาดชันปานกลางถึงลาดชันสูง เทือกเขาชั้นนอกสุดมียอดเขาสูงสุด 844 เมตร จากระดับน้ำทะเลปานกลาง บริเวณทิศตะวันตกเฉียงใต้ของพื้นที่ และเทือกเขาชั้นในมียอดเขาสูงสุด 470 เมตร จากระดับน้ำทะเลปานกลาง บริเวณทิศเหนือของพื้นที่เทือกเขาชั้นในนี่เองที่เป็นแหล่งฟอสซิลไดโนเสาร์ ส่วนระดับต่ำสุดของเชิงเขาอยู่ระดับ 210 เมตร จากระดับน้ำทะเลปานกลาง

อุทยานแห่งชาติภูเวียงตั้งอยู่บนที่ราบสูงโคราชมีลักษณะเป็นหินชั้น ซึ่งเกิดจากการสะสมตัวของตะกอนบนแผ่นดินหนากว่า 4,000 เมตร ชั้นของหินตะกอนมักมีสีแดงเกือบทั้งหมดเรียกว่าหินชั้นตะกอนแดง หรือกลุ่มหินโคราช ประกอบด้วย หน่วยหินเขาพระวิหาร หินเสาขัว หินภูพาน และหินโคกกรวด หินดังกล่าวถูกปกคลุมด้วยตะกอนร่วนและดินยุคควอเทอร์นารี่ และยุคปัจจุบัน ซึ่งในพื้นที่อุทยานแห่งชาติภูเวียงนั้นยังมีการสำรวจสายแร่ยูเรเนียมในพื้นที่อีกด้วย อุทยานแห่งชาติภูเวียงเป็นแหล่งต้นน้ำลำธารของห้วยทรายขาวซึ่งจะไหลลงลำน้ำพอง ห้วยบั้งทิ้ง ห้วยน้ำไหล ซึ่งจะไหลลงลำน้ำเชิญ ห้วยเรือ ห้วยขุมปูน ห้วยน้ำบอง และห้วยมะนาว ซึ่งจะไหลลงห้วยบอง ทั้งลำน้ำพอง หัวยบอง และลำน้ำเชิญ จะไหลลงอ่างเก็บน้ำอุบลรัตน์

เมื่อประมาณปี พ.ศ. 2519 ได้มีการค้นพบรอยเท้าและซากกระดูกไดโนเสาร์ และสัตว์โลกดึกดำบรรพ์อายุเกือบ 200 ล้านปี