สรรพสิริเกิดเมื่อวันอังคารที่ 10 กุมภาพันธ์ พ.ศ. 2463[1] เป็นบุตรชายคนเล็กของพระยามหาอำมาตยาธิบดี (เส็ง วิรยศิริ) อดีตราชเลขานุการในพระองค์ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว[2] กับนาฎ วิรยศิริ มีพี่สามคนคือ ทวีศักดิ์ เข็มน้อย และอนงค์นาฏ จบการศึกษาชั้นมัธยมศึกษาจากโรงเรียนเทพศิรินทร์ อนุปริญญาทางกฎหมายจากมหาวิทยาลัยวิชาธรรมศาสตร์และการเมือง (ปัจจุบันคือ มหาวิทยาลัยธรรมศาสตร์) และวิชาการถ่ายภาพจากสถาบันการถ่ายภาพแห่งนิวยอร์ก

สรรพสิริเริ่มทำงานตั้งแต่ พ.ศ. 2484 เป็นเจ้าหน้าที่ข่าวต่างประเทศ ของกรมโฆษณาการ (ปัจจุบันคือ กรมประชาสัมพันธ์) และมีงานอดิเรกเป็นผู้สร้างสรรค์ภาพยนตร์โฆษณา โดยสร้างแอนิเมชันในประเทศไทยเป็นคนแรก จากภาพยนตร์โฆษณาชุดหนูหล่อ ของยาหม่องบริบูรณ์บาล์ม, ชุดหมีน้อย ของนมตราหมี ซึ่งได้รับรางวัลชนะเลิศ โฆษณาดีเด่นระดับภูมิภาคเอเชีย ที่ประเทศสิงคโปร์ เมื่อ พ.ศ. 2486 และชุดแม่มดกับสโนไวท์ ของแป้งน้ำควินนา[3][4]

จากนั้นเมื่อ พ.ศ. 2492 เป็นบุคคลแรกที่เขียนบทความเรื่อง วิทยุภาพ ขึ้น และจอมพลแปลก พิบูลสงคราม ได้อ่านบทความดังกล่าวในปี พ.ศ. 2493 จึงมีดำริในการก่อตั้งสถานีวิทยุโทรทัศน์ขึ้น โดยจัดตั้งในรูปบริษัท ไทยโทรทัศน์ จำกัด ขึ้นเมื่อ พ.ศ. 2495[5] โดยสรรพสิริเข้าร่วมงานในสถานีโทรทัศน์ไทยทีวีช่อง 4 (ปัจจุบันคือ สถานีโทรทัศน์ช่อง 9 เอ็มคอตเอชดี) ด้วยการเป็นช่างภาพ ผู้รับผิดชอบฝ่ายข่าว และเป็นผู้ประกาศข่าวทางโทรทัศน์รุ่นแรกๆ ร่วมกับอาคม มกรานนท์[6]