ได้รับการก่อตั้งขึ้นเมื่อวันที่ 27 ตุลาคม ค.ศ. 1903 ซึ่งกองเรือที่ 2 ได้รับการสร้างขึ้นโดยกองบัญชาการแห่งจักรวรรดิในฐานะกองกำลังจู่โจมเคลื่อนที่ของเรือลาดตระเวนและเรือพิฆาต เพื่อไล่ตามกองเรือลาดตระเวนฐานวลาดีวอสตอคของกองทัพเรือจักรวรรดิรัสเซีย ในขณะที่กองเรือญี่ปุ่นที่เหลือ (กองเรือที่ 1 กองทัพเรือจักรวรรดิญี่ปุ่น) ยังคงปิดล้อมพอร์ตอาร์เทอร์ ด้วยความหวังว่าจะล่อให้เรือประจัญบานของกองเรือแปซิฟิกรัสเซียเข้าสู่การเผชิญหน้าแนวเส้นประจัญบานแบบคลาสสิกในทะเลเปิด

ในฐานะที่เป็นกองกำลังเคลื่อนที่หลักในกองทัพเรือจักรวรรดิญี่ปุ่น กองเรือที่ 2 ได้เข้าสู่ปฏิบัติการรบของกองทัพเรือจักรวรรดิญี่ปุ่นในอนาคตทั้งหมดมากขึ้น นับตั้งแต่ก่อตั้งจนกระทั่งกองทัพเรือจักรวรรดิญี่ปุ่นสลายตัวเมื่อสิ้นสุดสงครามโลกครั้งที่สอง