แม้ว่าทักษะทางดนตรีจะไม่ได้เป็นหนึ่งในพรสวรรค์มากมายของอูโก แต่กระนั้นเขาก็ยังสร้างผลกระทบอันยิ่งใหญ่ในโลกของดนตรี ด้วยแรงบันดาลใจอันไร้สิ้นสุดที่ผลงานของเขาส่งผลต่อบรรดานักแต่งเพลงจำนวนมากในคริสต์ศตวรรษที่ 19 และ 20 ตัวอูโกเองชอบดนตรีของกลุ๊กและเวเบอร์ ทั้งยังชื่นชอบเบทโฮเฟินอย่างมาก นอกจากนั้นเขายังชื่นชมผลงานของนักแต่งเพลงในยุคก่อนหน้าเขา เช่น Palestrina และ Monteverdi นักดนตรีที่มีชื่อเสียงในคริสต์ศตวรรษที่ 19 สองคนคือ แบร์ลีโยซและลิซท์ ก็เป็นเพื่อนของอูโก คนหลังนี้เคยเล่นเพลงของเบทโฮเฟินที่บ้านของอูโกด้วย อูโกเคยเขียนขำ ๆ ในจดหมายถึงเพื่อนฉบับหนึ่งว่า ต้องขอบคุณลิซท์ที่ช่วยสอนเปียโนให้เขา ทำให้เขาสามารถเล่นเพลงโปรดของตัวเองได้โดยใช้นิ้วเพียงนิ้วเดียว อูโกยังเคยร่วมงานกับหลุยส์ แบร์แต็ง (Louise Bertin) นักแต่งเพลง โดยช่วยเขียนบทอุปรากรให้แก่เธอในปี ค.ศ. 1836 เรื่อง La Esmeralda อันมีที่มาจากนวนิยายเรื่องหนึ่งของอูโก คือ คนค่อมแห่งน็อทร์-ดาม[11] ทว่าด้วยเหตุผลหลายประการ ทำให้อุปรากรอันงดงามนี้ต้องปิดการแสดงลงหลังจากเปิดแสดงได้เพียง 5 ครั้ง และไม่ค่อยเป็นที่รู้จักในปัจจุบัน แต่ยังมีบทเพลงในเวอร์ชันที่บรรเลงด้วยเปียโนของลิซท์ ซึ่งนำกลับมาแสดงอีกครั้งในงานเทศกาลดนตรีนานาชาติ Victor Hugo et Égaux เมื่อ ค.ศ. 2007[12] นอกจากนี้ยังนำมาแสดงเป็นออร์เคสตราเต็มรูปแบบเมื่อเดือนกรกฎาคม ค.ศ. 2008 ในงาน Le Festival de Radio France et Montpellier Languedoc-Roussillon[13]

มีบทเพลงมากกว่า 1000 บทที่ได้รับแรงบันดาลใจจากงานเขียนของอูโกตลอดช่วงเวลานับแต่คริสต์ทศวรรษ 1800 ตราบจนกระทั่งปัจจุบัน บทละครของอูโกซึ่งแหวกประเพณีนิยมของงานแสดงในยุคคลาสสิกแต่เปลี่ยนมาเป็นเรื่องราวในยุคโรแมนติกได้จุดประกายความสนใจแก่บรรดานักแต่งเพลง และพากันจับเรื่องราวเหล่านั้นมาดัดแปลงเป็นอุปรากร มีละครอุปรากรมากกว่า 100 เรื่องที่สร้างขึ้นจากผลงานของอูโก ในบรรดาบทละครที่มีชื่อเสียงได้แก่ Lucrezia Borgia ของโดนีเซตตี (ค.ศ. 1833) Rigoletto และ Ernani ของแวร์ดี (ค.ศ. 1851 และ 1844 ตามลำดับ) และ La Gioconda ของ Ponchielli (ค.ศ. 1876) นอกจากบทละครของอูโกแล้ว นวนิยายของเขาก็เป็นแหล่งข้อมูลชั้นดีสำหรับเหล่านักดนตรี พวกเขาไม่เพียงนำมาดัดแปลงเป็นอุปรากรและบัลเลต์ แต่ยังนำมาทำเป็นละครเพลงด้วย เช่นเรื่อง คนค่อมแห่งน็อทร์-ดาม และเรื่องที่โด่งดังที่สุดตลอดกาลคือ เหยื่ออธรรม ซึ่งเป็นละครเพลงที่เปิดแสดงอยู่ยาวนานที่สุดในเวสต์เอนด์ กรุงลอนดอน นอกจากนี้ งานกวีนิพนธ์ของอูโกก็สร้างแรงบันดาลใจต่อเหล่านักดนตรีและนักแต่งเพลงด้วย พวกเขาแต่งเพลงมากมายขึ้นจากบทกวีของอูโก เหล่านักดนตรีเหล่านี้ได้แก่ แบร์ลีโยซ, บีแซ, ฟอเร, ฟร็องก์, ลาโล, ลิซท์, มัสแน, แซ็ง-ซ็องส์, รัคมานีนอฟ และวากเนอร์[14]

จนถึงปัจจุบัน ผลงานของอูโกยังส่งอิทธิพลต่องานดนตรีอย่างต่อเนื่อง ตัวอย่างเช่น นวนิยายเรื่อง The Last Day of a Condemned Man ซึ่งต่อต้านการลงโทษประหารชีวิต ได้ดัดแปลงมาเป็นละครอุปรากร โดยดาวิด อาลัญญา น้องชายของเขาคือ โรแบร์โต อาลัญญาได้แสดงละครอุปรากรรอบปฐมทัศน์ไปเมื่อฤดูร้อน ค.ศ. 2007 ในกรุงปารีส และแสดงซ้ำอีกครั้งในเดือนกุมภาพันธ์ ค.ศ. 2008 ในงานเทศกาลดนตรีนานาชาติ Victor Hugo et Égaux 2008[15] นอกจากนี้มีงานเทศกาลดนตรีนานาชาติวิกตอร์ อูโก จัดขึ้นที่เกิร์นซีย์เป็นประจำทุก 2 ปี ซึ่งมีนักดนตรีมาร่วมงานค่อนข้างมาก