อุทยานแห่งชาติภูพานตั้งอยู่ในเขตเทือกเขาภูพาน มีลักษณะโครงสร้างทางธรณีเป็นหินทราย โดยมีความสูงอยู่ระหว่าง 200-567 เมตรจากระดับน้ำทะเลปานกลาง ประกอบด้วยภูนางงอย ภูมะแงว ภูน้อย ภูเพ็ก โดยมีภูเขียวซึ่งอยู่ในเขตจังหวัดกาฬสินธุ์เป็นจุดสูงสุดในเขตอุทยานแห่งชาติ มีความสูง 567 เมตรจากระดับน้ำทะเลปานกลาง เป็นแหล่งกำเนิดต้นน้ำลำธารและห้วยต่างๆ เช่น ห้วยเลา ห้วยอีโคก ห้วยยาง ห้วยเวียงไพร ห้วยขี้นก ห้วยโคก ห้วยวังถ้ำ ห้วยผึ้ง ห้วยอีดอน น้ำอูนตอนบน ห้วยทราย และห้วยนาจาน ซึ่งจะไหลลงสู่แม่น้ำอูน ห้วยแข้ ห้วยแสนกง และน้ำพุงตอนบน ไหลลงแม่น้ำพุง ห้วยสะทด ห้วยแก้งหว้า ห้วยแก้งโคก และห้วยหลัก ไหลลงลำน้ำยัง ห้วยพริกไหลลงลำปาว ห้วยทรายและห้วยเดียกไหลลงสู่หนองหาร