หม่อมเจ้าพร้อม ทรงรับราชการกระทรวงพระคลังมหาสมบัติ ในรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงดำรงตำแหน่งรองอธิบดีกรมสารบาญชี (ปัจจุบันคือ กรมบัญชีกลาง) ตั้งแต่ครั้งก่อตั้งกรมเมื่อปี พ.ศ. 2433[4] ในรัชกาลพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงดำรงตำแหน่งอธิบดีกรมศุลกากร ระหว่างปี พ.ศ. 2436 – 2472[5] เป็นผู้จัดร่างกฎหมายวางระเบียบวิธีการศุลกากร โดยอาศัยตามหลักกฎหมายอังกฤษ และดำเนินการเจรจาแก้ไขสนธิสัญญาที่ไม่เป็นธรรมในการจัดเก็บภาษีศุลกากรกับต่างประเทศ[6] ทรงได้รับพระกรุณาโปรดเกล้าฯ สถาปนาขึ้นเป็น "พระวรวงศ์เธอ พระองค์เจ้าพร้อมพงศ์อธิราช" เมื่อปี พ.ศ. 2455[7]

พระวรวงศ์เธอ พระองค์เจ้าพร้อมพงศ์อธิราช ประทับอยู่ที่วังบางพลูอยู่ติดกับวังของพระวรวงศ์เธอ กรมหมื่นอดิศรอุดมศักดิ์ เชิงสะพานซังฮี้ ตำบลบางยี่ขัน อำเภอบางกอกน้อย จังหวัดธนบุรี ปัจจุบันคือบริเวณซอยเจ้าพระยาสยาม