เซ็นโซจิ นี้สร้างขึ้นเพื่อบูชาพระโพธิสัตว์คันนง ตามตำนานกล่าวไว้ว่า ประมาณปี ค.ศ. 628 มีชาวประมง 2 พี่น้อง ชื่อว่า ฮิโนกูมะ ฮามานาริ และฮิโนกูมะ ทาเกนาริ ทุกวันจะออกหาปลาที่แม่น้ำซูมิดะ มีอยู่วันหนึ่ง วันนั้นทั้งวันจับปลาไม่ได้สักตัว จึงอธิษฐานขอสิ่งศักดิ์สิทธิ์ขอให้จับปลาได้สักตัว เพื่อกลับไปทานเป็นอาหารเย็น พอเหวี่ยงแหออกไป สิ่งที่ติดแหขึ้นมา กลับเป็นเทวรูปเจ้าแม่กวนอิมทองคำ สูง 5 นิ้ว จึงนำไปให้หัวหน้าหมู่บ้านของทั้งสองชื่อว่า ฮาจิโนะ นากาโมโตะ หัวหน้าหมู่บ้านได้ตระหนักถึงความศักดิ์สิทธิ์ขององค์เจ้าแม่กวนอิม จึงได้เปลี่ยนแปลงบ้านของตนในอาซากูซะให้กลายเป็นวัดขนาดเล็ก เป็นที่ประดิษฐานพระโพธิสัตว์ เพื่อให้คนในหมู่บ้านมากราบไหว้บูชา ทั้งชาวบ้านและเหล่าซามูไรมักจะเดินทางมาขอพรจากเจ้าแม่กวนอิมเป็นประจำ และสิ่งที่ขอพรไปนั้นก็มักจะสมปรารถนาอยู่เสมอ ๆ ทำให้ชาวบ้านและเหล่าซามูไรมีความเลื่อมใสศรัทธาเป็นอย่างมาก ชื่อเสียงในความศักดิ์สิทธิ์ขององค์เจ้าแม่กวนอิมนี้ ได้แพร่กระจายไปทั่วญี่ปุ่น มีคนจากทั่วสารทิศเดินทางมาวัดเซ็นโวจิเพื่อสักการะองค์เจ้าแม่กวนอิม จนล่ำลือไปถึงท่านโชกุน ท่านโชกุนจึงได้ให้มีการสร้างอาคารหลังใหญ่ขึ้นในปี ค.ศ. 645 และต่อเติมส่วนต่าง ๆ เรื่อยมาอย่างที่เห็นในปัจจุบันนั้น

ในช่วงสงครามโลกครั้งที่สอง ปี ค.ศ. 1945 อาคารส่วนใหญ่ของเซ็นโซจิ ได้รับความเสียหายจากการถูกทิ้งระเบิด และถูกสร้างขึ้นมาใหม่ในภายหลัง ซึ่งกลายเป็นสัญลักษณ์ของการเกิดใหม่และความสงบสุขให้กับคนญี่ปุ่น