เนื้อร้องของเพลงคิมิงาโยะนั้น เดิมเป็นบทกลอนยุคเฮอังที่ไม่ทราบว่าผู้ใดแต่งไว้ ปรากฏอยู่ในหนังสือโคกินวากาชู หรือ "ประชุมบทร้อยกรองแบบวะกะ" ในความเป็นจริงอาจกล่าวได้ว่า ผู้แต่งกวีบทนี้อาจเป็นที่รู้จักกันทั่วไปในเวลานั้น แต่ชื่อของเขาไม่ได้รับการบรรจุไว้ในหนังสือดังกล่าว เพราะกวีผู้นั้นอาจมีฐานะทางสังคมที่ต่ำก็ได้ เพราะกวีในยุคนั้นมักจะไม่ใช่ชนชั้นสามัญชน บทกวีคิมิงาโยะนี้ปรากฏอยู่ในประชุมบทร้อยกรองหลายฉบับ และใช้ในยุคต่อ ๆ มาในลักษณะของเพลงเฉลิมฉลองของผู้คนในสังคมชั้นสูง ทั้งนี้ ตอนต้นของบทกวีดังกล่าวมีเนื้อหาต่างจากที่ใช้เป็นเพลงชาติในปัจจุบัน โดยฉบับเดิมจะขึ้นต้นว่า "วา งา คิมิ วา" ("Wa ga Kimi wa", "ท่านผู้เป็นนายแห่งข้า") เนื้อร้องของเพลงนี้ต่อมาได้เปลี่ยนแปลงไปในช่วงยุคคามากูระ (ค.ศ. 1185 - 1333) เป็น "คิมิ งา โยะ" (แปลตามตัวคือ "สมัยแห่งท่าน") ดังที่รู้จักกันทุกวันนี้[4]

ในปี ค.ศ. 1869 ในช่วงต้นของยุคเมจิ จอห์น วิลเลียม เฟนตัน (John William Fenton) ผู้นำวงโยธวาทิตชาวไอริช ซึ่งได้เดินทางมาเยือนญี่ปุ่น ได้ตระหนักว่าประเทศญี่ปุ่นยังไม่มีเพลงชาติของตนเอง จึงได้แนะนำให้อิวาโอะ โอยามะ ข้าราชการชาวญี่ปุ่นแห่งแคว้นซัตสึมะ แต่งเพลงชาติขึ้น ซึ่งโอยะมะก็เห็นด้วยและได้เลือกเอาบทกวีคิมิงาโยะมาใช้เป็นบทร้องของเพลงชาติ[5] เป็นไปได้ว่าที่มีการเลือกเอาบทกวีคิมิงาโยะมาใช้ เพราะเนื้อหาของเพลงคล้ายคลึงกับเพลงก็อดเซฟเดอะควีนของอังกฤษ โดยได้รับอิทธิพลทางความคิดจากเฟนตัน[6] หลังจากที่ได้เนื้อร้องแล้ว โอยามะจึงร้องขอให้เฟนตันช่วยประพันธ์ทำนองเพลง เขาจึงใช้เวลาในการแต่งทำนองเพลง 3 สัปดาห์ และใช้เวลาในการซ้อมนักดนตรีในเวลาไม่กี่วัน ก่อนจะบรรเลงเพลงนี้ต่อเบื้องพระพักตร์ของพระจักรพรรดิในปี ค.ศ. 1870[6] ทำนองเพลงดังกล่าวนี้คือทำนองฉบับแรกของเพลงคิมิงาโยะ ซึ่งต่อมาได้เลิกใช้ด้วยเหตุผลว่า ทำนองนี้ "ยังขาดความเคร่งขรึม"[7] อย่างไรก็ตาม เพลงคิมิงาโยะทำนองนี้ปัจจุบันยังคงมีการบรรเลงปีละครั้ง ที่ศาลเจ้าเมียวโคจิ เมืองโยโกฮามะ ซึ่งเป็นศาลเจ้าที่สร้างขึ้นเพื่ออุทิศแต่เฟนตัน ผู้ได้รับหน้าที่เป็นผู้นำวงโยธาวาทิตของญี่ปุ่นประจำเมืองนี้[5]

ในปี ค.ศ. 1880 สำนักพระราชวังของญี่ปุ่นได้เลือกทำนองเพลงคิมิงาโยะใหม่ ซึ่งประพันธ์โดย โยชิอิซะ โอกุ และอากิโมริ ฮายาชิ ผู้ประพันธ์เพลงอีกคนหนึ่งที่มักได้รับการกล่าวถึงรวมอยู่ในกลุ่มผู้แต่งทำนองนี้ด้วย คือ ฮิโรโมริ ฮายาชิ ซึ่งเป็นผู้ดูแลงานของทั้งสองคน และยังเป็นพ่อของ อากิโมริ ฮายาชิ อีกด้วย ทั้งนี้ ตัวอากิโมริเองก็เป็นลูกศิษย์คนหนึ่งของเฟนตันด้วย[6] แม้ทำนองใหม่นี้จะมีพื้นฐานจากทำนองเพลงของราชสำนักโบราณก็ตาม แต่ก็มีการผสานเข้ากับดนตรีประเภทเพลงสรรเสริญ (hymn) ของชาติตะวันตก และใช้บางส่วนที่เฟนตันได้เรียบเรียงไว้แต่เดิมด้วย[8] โดยฟรันซ์ เอ็คเคิร์ต (Franz Eckert) นักดนตรีชาวเยอรมัน ได้ปรับปรุงทำนองเพลงนี้ให้มีความกลมกลืนแบบตะวันตกมากยิ่งขึ้น นับได้ว่าเป็นการแต่งเพลงคิมิงาโยะฉบับที่ 2 และเป็นฉบับที่ใช้ในปัจจุบัน และนับตั้งแต่ปี ค.ศ. 1893 เป็นต้นมา เพลงคิมิงาโยะบรรจุให้ใช้ในพิธีการของโรงเรียนรัฐบาลด้วยการผลักดันของทางกระทรวงศึกษาธิการญี่ปุ่น[4] เพลงนี้บรรเลงด้วยบันไดเสียง ซี เมเจอร์[1]