น้อยเทพวงษ์ เกิดเมื่อวันที่ 17 กุมภาพันธ์ พ.ศ. 2379 เป็นโอรสพระยาพิมพิสารราชา และแม่เจ้าธิดา[1] มีเจ้าพี่น้องร่วมมารดา 3 องค์ คือ

1. แม่เจ้าไข
2. แม่เจ้าเบาะ
3. แม่เจ้าอินทร์ลงเหลา

ท่านได้รับการแต่งตั้งให้เป็นพระยาอุปราชเมื่อปี พ.ศ. 2421 เมื่อบิดาป่วย ท่านก็ได้ว่าราชการแทน จนได้รับสถาปนาเป็นเจ้าเมืองแพร่เมื่อวันที่ 5 เมษายน พ.ศ. 2432 มีราชทินนามว่า "พระยาพิริยวิไชย อุดรพิไสยวิผารเดช บรมนฤเบศร์สยามมิศร์ สุจริตภักดี เจ้าเมืองแพร่"[2] และเลื่อนเป็นเจ้านครเมืองแพร่ในปี พ.ศ. 2443 มีราชทินนามว่า "เจ้าพิริยเทพวงษ์ ดำรงอุดรสถาน ประชานุบาลยุติธรรมสถิตย ผริตบุราธิบดี เจ้านครเมืองแพร่"[3]