คำว่า มังงะ แปลตรงตัวว่า "ภาพตามอารมณ์" ถูกใช้อย่างกว้างขวางเป็นครั้งแรกหลังจากจิตรกรอุคิโยเอะชื่อโฮคุไซตีพิมพ์หนังสือชื่อโฮคุไซมังงะในคริสต์ศตวรรษที่ 19 อย่างไรก็ดีนักประวัติศาสตร์บางกลุ่มเห็นว่ามังงะอาจมีประวัติยาวนานกว่านั้น โดยมีหลักฐานคือภาพจิกะ (แปลตรงตัวว่า "ภาพตลก") ซึ่งเป็นที่นิยมในศตวรรษที่ 12 มีลักษณะหลายประการคล้ายคลึงกับมังงะในปัจจุบัน อาทิ การเน้นเนื้อเรื่อง และการใช้เส้นที่เรียบง่ายแต่สละสลวย เป็นต้น

มังงะพัฒนามาจากการผสมผสานศิลปะการวาดภาพแบบอุคิโยเอะกับจิตรกรรมตะวันตก ความพยายามของญี่ปุ่นที่จะพัฒนาตัวเองให้ทันกับมหาอำนาจตะวันตกในช่วงปลายศตวรรษที่ 19 ผลักดันให้ญี่ปุ่นนำเข้าวัฒนธรรมตะวันตกหลายๆ รูปแบบ รวมทั้งการจ้างศิลปินตะวันตกมาสอนศิลปินญี่ปุ่นเกี่ยวกับองค์ประกอบพื้นฐานทางศิลปะ เช่น เส้น รูปทรง และสี ซึ่งการวาดภาพแบบอุคิโยเอะไม่ให้ความสำคัญเนื่องจากคิดว่าความรู้สึกโดยรวมของภาพสำคัญกว่า อย่างไรก็ดี มังงะที่เป็นที่รู้จักกันในปัจจุบันเริ่มก่อตัวเป็นรูปเป็นร่างในช่วงหลังสงครามโลกครั้งที่สองหลังจากที่รัฐบาลญี่ปุ่นถูกสหรัฐอเมริกาบังคับให้เปิดเสรีภาพแก่สื่อมวลชน

ในศตวรรษที่ 21 คำว่ามังงะเปลี่ยนความหมายเดิมมาหมายถึงหนังสือการ์ตูน อย่างไรก็ดีคนญี่ปุ่นมักใช้คำนี้เรียกหนังสือการ์ตูนสำหรับเด็ก ส่วนหนังสือการ์ตูนทั่วไปใช้คำว่า コミックス (คอมิกส์) ซึ่งเป็นคำทับศัพท์ของ comics ในภาษาอังกฤษ ในประเทศที่พูดภาษาอังกฤษ มังงะ (manga) ถูกใช้เรียกหนังสือการ์ตูนจากประเทศญี่ปุ่น ส่วนในประเทศไทยการใช้คำว่ามังงะยังไม่เป็นที่แพร่หลายนัก

มังงะมีความสำคัญวัฒนธรรมญี่ปุ่นและได้รับการยอมรับจากคนญี่ปุ่นว่าเป็นวิจิตรศิลป์และวรรณกรรมรูปแบบหนึ่ง มังงะในปัจจุบันถูกวิพากษ์วิจารณ์จากกลุ่มอนุรักษนิยมทั้งในญี่ปุ่นและต่างประเทศอย่างกว้างขวางว่ามีความรุนแรงและเนื้อหาทางเพศปะปนอยู่มาก อย่างไรก็ดี ประเทศญี่ปุ่นก็ยังไม่มีกฎหมายจัดระเบียบมังงะ เว้นแต่กฎหมายคลุมเครือฉบับหนึ่งที่กล่าวทำนองว่า "ห้ามผู้ใดจัดจำหน่ายสื่อที่ขัดต่อความดีงามของสังคมจนเกินไป" เท่านั้น นักวาดการ์ตูนในญี่ปุ่นจีงมีเสรีภาพที่จะเขียนมังงะที่มีเนื้อหาทุกแนวสำหรับผู้อ่านทุกกลุ่ม