ในตอนต้น เขตผู้ว่าการเฮียร์ซอนถูกแบ่งออกเป็น 4 เทศมณฑล ประกอบด้วย เทศมณฑลอะเลคซันดรียา, เยลีซาเวตกราด, ตีรัสปอล และเฮียร์ซอน และตั้งแต่ ค.ศ. 1806 เขตผู้ว่าการก็มีเทศมณฑล 5 เขต ประกอบด้วย เทศมณฑลอะเลคซันดรียา, เยลีซาเวตกราด, ออลวีโอปอล, ตีรัสปอล และเฮียร์ซอน ใน ค.ศ. 1825 เทศมณฑลโอเดซาถูกก่อตั้งขึ้นบนพื้นที่ของเทศมณฑลเฮียร์ซอนและตีรัสปอล ใน ค.ศ. 1828 เทศมณฑลออวีโอปอลและเยลีซาเวตกราดถูกยุบลง และเทศมณฑลโบบรีเนตส์ถูกสถาปนาขึ้นบนรากฐานของเทศมณฑลเดิมของทั้งสอง ใน ค.ศ. 1834 เทศมณฑลตีราสปอลถูกแบ่งออกเป็นสองส่วน และได้มีการสถาปนาเทศมณฑลอนันเยฟขึ้นมาใหม่ ใน ค.ศ. 1865 ศูนย์กลางของเทศมณฑลโบบรีเนตส์ถูกย้ายไปที่เยลีซาเวตกราด และทำให้เทศมณฑลโบบรีเนตส์ถูกเปลี่ยนชื่อเป็น เทศมณฑลเยลีซาเวตกราด