พระมหาอำมาตยาธิบดีเริ่มต้นรับราชการใน กรมแผนที่ ในสมัยที่ พระวิภาคภูวดล (เจมส์ แมคคาร์ที) ดำรงตำแหน่งเป็นเจ้ากรม กระทั่งได้รับพระราชทานบรรดาศักดิ์เป็น หลวงเทศาจิตรพิจารณ์

ต่อมาในปี พ.ศ. 2435 หลวงเทศาจิตรพิจารณ์ก็ได้ถูกโอนย้ายมารับราชการที่ กระทรวงมหาดไทย ในตำแหน่งพนักงานวิเศษ จากนั้นในวันที่ 4 ตุลาคม ปีเดียวกันท่านก็ได้รับพระราชทานบรรดาศักดิ์เป็น พระสฤษดิพจนกร ถือศักดินา 800

ในวันที่ 11 พฤศจิกายน พ.ศ. 2439 ระหว่างงานพระราชพิธีฉัตรมงคลท่านได้รับพระราชทานบรรดาศักดิ์เป็น พระยาสฤษดิพจนกร ถือศักดินา 1000 โดยในวันรุ่งขึ้นท่านยังได้รับพระราชทาน โต๊ะกาทองคำ ด้วยต่อมาในวันที่ 20 กันยายน พ.ศ. 2441 ระหว่างงานเฉลิมพระชนมพรรษา ณ พระที่นั่งอมรินทรวินิจฉัย ท่านได้รับพระราชทานบรรดาศักดิ์เป็น พระยาศรีสหเทพ คงถือศักดินา 1000

จากนั้นในวันที่ 17 เมษายน พ.ศ. 2442 เมื่อ พระยาราชวรานุกูล (อ่วม) ซึ่งดำรงตำแหน่งราชปลัดทูลฉลองกระทรวงมหาดไทยได้ถวายบังคมลาออกจากตำแหน่งหน้าที่ราชการ ท่านจึงได้รับโปรดเกล้าฯ แต่งตั้งให้ดำรงตำแหน่งราชปลัดทูลฉลองกระทรวงมหาดไทยสืบต่อมา ต่อมาในวันที่ 19 เมษายน พ.ศ. 2450 พระยาศรีสหเทพได้รับโปรดเกล้าฯ ให้รักษาราชการแทนในตำแหน่งเจ้ากรมราชโลหกิจ กระทั่งวันที่ 23 พฤศจิกายน พ.ศ. 2454 จึงได้รับพระราชทานบรรดาศักดิ์เป็น พระยามหาอำมาตยาธิบดี จุลราชสีห์มุรธาธร สถาพรพิริยพาห ถือศักดินา 3000

ในวันที่ 12 เมษายน พ.ศ. 2456 ท่านได้รับโปรดเกล้าฯ ให้ดำรงตำแหน่งรองเสนาบดีกระทรวงมหาดไทยโดยมี พระยากำแหงสงคราม ข้าหลวงเทศาภิบาลมณฑลนครราชสีมาซึ่งในเวลาต่อมาคือ เจ้าพระยามุขมนตรี (อวบ เปาโรหิตย์) มาดำรงตำแหน่งปลัดกระทรวงมหาดไทยแทนสืบต่อมา