โจวีโอเริ่มสะสมภาพเหมือนราว ค.ศ. 1512 ไม่นานหลังจากที่ออกจากบ้านเกิดที่โคโมเพื่อไปแสวงหาความก้าวหน้าที่โรม[1] เดิมเป็นงานสะสมที่เน้นผู้มีการศึกษา แต่ต่อมาก็ขยายไปรวมนักการทหาร, พระมหากษัตริย์, พระสันตะปาปา, ศิลปิน และแม้แต่สตรีผู้มีชื่อเสียง[2] ภาพที่สะสมก็รวมทั้งบุคคลในอดีตและบุคคลร่วมสมัย ความตั้งใจเดิมของโจวีโอก็เพื่อที่จะให้เป็นงานสะสมที่เป็นหลักฐานของสารธารณะชนของบุคคลสำคัญอย่างถาวร ฉะนั้นโจวีโอจึงเน้นความเที่ยงตรงกับความเป็นจริงของภาพแทนที่จะเป็นภาพวาดแบบที่วาดเชิดชูผู้เป็นแบบอย่างอุดมคติ (Idealised portraits) และจะนิยมสะสมภาพที่วาดจากผู้เป็นแบบตัวจริงถ้าเป็นได้ แต่ถ้าทำไม่ได้ก็จะวาดจากเหรียญหรือรูปสลักครึ่งตัว หรือภาพเหมือนที่เขียนไว้ก่อนหน้านั้น[3] โจวีโอตั้งอกตั้งใจสะสมอย่างจริงจังโดยการเขียนจดหมายไปขอภาพเขียนจากบุคคลสำคัญๆ ทั่วยุโรปและตะวันออกไกล้ จดหมายของโจวีโอแสดงให้เห็นวิธีที่ทั้งต่อรอง, หว่านล้อม และบางทีถึงกับติดสินบนที่โจวีโอจ่ายเองเพื่อจะให้ได้ภาพเขียนมา[4]

สิ่งที่ทำให้งานสะสมของโจวีโอเป็นเอกลักษณ์คือความตั้งใจที่ทำให้งานสะสมเป็นของสาธารณะ นักชีวประวัติที. ซี. ไพรซ์ ซิมเมอร์มันน์จากคริสต์ศตวรรษที่ 20 บรรยายว่า “ความตั้งใจในการก่อตั้งพิพิธภัณฑ์ภาพเหมือนบนฝั่งทะเลสาบเป็นความคิดที่เป็นเลิศในการส่งเสริมวัฒนธรรมยุโรป”[5] คุณค่าทางแรงบันดาลใจของงานสะสมภาพเหมือนเป็นความคิดทางปรัชญาของยุคฟื้นฟูศิลปวิทยาที่ฟื้นฟูมาจากสมัยโบราณก่อนหน้านั้น เช่นที่นักเรอเนสซองซ์มนุษยนิยม (Renaissance humanist) โพจจิโอ บราชชิโอลินิ (Poggio Bracciolini) เขียนไว้ในบทความ “De nobilitate liber” ที่ชาวโรมันควรทำตาม “เพราะเชื่อว่าภาพของผู้ที่แสวงหาความมีเกียรติยศและความเจริญทางปัญญาถ้านำมาตั้งแสดงต่อหน้าแล้วก็จะทำให้เร้าจิตวิญญาณของผู้ดู”[6] ซึ่งตัวอย่างของการสะสมที่คล้ายคลึงกันก็มีมาตั้งแต่คริสต์ศตวรรษที่ 14[7] และชุดเล็กอีกชุดหนึ่งที่เรียกว่า “บุคคลผู้มีคุณค่าทั้งเก้า” (Nine Worthies) และงานเอกสารที่กล่าวถึงรูปปั้นครึ่งตัวของนักปรัชญาต่างในห้องสมุดโรมันหลายแห่ง, [8] เช่นที่บันทึกโดยนักประวัติศาสตร์ ไพลนี (Pliny) “รูปสร้างด้วยบรอนซ์...ที่ตั้งอยู่ในห้องสมุดเพื่อเป็นเกียรติแก่ผู้ที่ส่งกระแสจิตแก่เราในที่เดียวกัน”[9] แต่การสะสมที่กล่าวนี้ก็ไม่มีผู้ใดที่กล่าวถึงจุดประสงค์ของการสะสมเพื่อ “สาธารณชน” โจวีโอมักจะกล่าวถึงโครงการว่าเป็น “templum virtutis” หรือ “สถาบันแห่งคุณธรรม” ที่เห็นได้จากความตั้งใจที่จะให้เป็นสิ่งที่ส่งเสริมการเรียนรู้[3]

การก่อสร้างพิพิธภัณฑ์เริ่มขึ้นในปี ค.ศ. 1537 และเสร็จในปี ค.ศ. 1543 ภาพเหมือนจัดเป็นสี่กลุ่มตามสาขาของความสำเร็จ: นักประพันธ์ที่ยังมีชีวิตอยู่ (รวมทั้งกวีและนักปรัชญา), นักประพันธ์ที่เสียชีวิตไปแล้ว, จิตรกรผู้มีชื่อเสียง และบุคคลสำคัญต่างๆ เช่นพระมหากษัตริย์, พระสันตะปาปา และนักการทหาร ภายในแต่ละกลุ่มก็จัดเรียงตามลำดับเวลาของวันเดือนปีที่เสียชีวิต หรือถ้าผู้เป็นแบบยังมีชีวิตอยู่ก็เรียงตามปีเกิด[10] นอกจากนั้นโจวีโอก็ยังเขียนชีวประวัติสั้นๆ ประกอบภาพเขียนแต่ละภาพที่พิมพใน “Elogia veris clarorum virorum imaginibvs apposita, quae in Mvsaeo Ioviano Comi spectantur” (ค.ศ. 1546) และ “Elogia virorum bellica virtute illustrium veris imaginibus supposita, quae apud Musaeum spectantur” (ค.ศ. 1551) หรือที่เรียกสั้นๆ ว่า “Elogia” การมีชีวประวัติประกอบภาพเป็นของใหม่ในสมัยนั้น ในปี ค.ศ. 1517 ก็มี “Illustrium imagines” ของ อันเดรีย ฟุลวิโอ (Andrea Fulvio) ที่เป็นชีวประวัติสั้นๆ ประกอบกับภาพเหมือนที่เป็นภาพพิมพ์แกะไม้ ที่แกะจากเหรียญที่เป็นงานร่วมสมัยที่คล้ายคลึงกับงานของโจวีโอ งานอีกชิ้นหนึ่งที่สูญหายไป “Imagines” โดยวาร์โรที่เป็นภาพบุคคลสำคัญ 700 คนจากยุคโบราณก็อาจจะเป็นงานอีกชิ้นหนึ่งที่มีอิทธิพลต่อโจวีโอ[11]

หลังจากโจวีโอเสียชีวิตในปี ค.ศ. 1552 แล้วภาพชุดดั้งเดิมก็กระจัดกระจายสูญหายไป เหลือแต่ชุดก็อปปีที่สั่งให้ทำโดยโคสิโมที่ 1 เดอ เมดิชิ จิตรกรคริสโตฟาโน เดลอัลทิสิโม (Cristofano dell'Altissimo) ใช้เวลา 37 ปีระหว่างปี ค.ศ. 1552 ถึงปี ค.ศ. 1589 ในการก็อปปี ที่ปัจจุบัน years copying the portraits, working from ค.ศ. 1552 to ค.ศ. 1589ตั้งแสดงอย่างถาวรอยู่ที่หอศิลป์อุฟฟิซิในเมืองฟลอเรนซ์ตั้งแต่ปี ค.ศ. 1587[12]