พื้นที่ในอาณาเขตของนครฮามามัตสึในปัจจุบัน มีประวัติศาตร์ยาวนานมาตั้งแต่ยุคก่อนประวัติศาสตร์ โดยมีการพบโบราณวัตถุในจากยุคโจมง และยุคโคฟุง ซึ่งรวมถึง อากาโมนูเอโกฟุง ซึ่งเป็นหลุมศพโบราณรูปกุญแจที่นิยมสร้างในยุคโคฟุง ปัจจุบัน ตั้งอยู่ในเขตฮามากิตะ ในยุคนาระ ฮามามัตสึก็ได้เป็นเมืองเอกของอดีตแคว้นโทโตมิ ต่อมา ในยุคเซ็งโงกุ ปราสาทฮามามัตสึ ก็เคยเป็นในฐานที่มั่นของโทกูงาวะ อิเอยาซุ ก่อนจะขึ้นเป็นโชกุนในยุคเอโดะ ฮามามัตสึเจริญเฟื่องฟูเนื่องจากเป็นเมืองที่ตั้งปราสาทอันเป็นที่อาศัยของไดเมียว และยังเป็นเมืองที่เส้นทางโทไกโดพาดผ่าน ซึ่งเป็นเพียงเส้นทางบกหลักที่ใช้เดินทางระหว่างกรุงเอโดะและกรุงเกียวโต หลังการปฏิรูปเมจิ เมืองฮามามัตสึได้ถูกยกเป็นจังหวัดในระยะเวลาสั้น ๆ คือ ในค.ศ. 1871 - 1876 หลังจากนั้น ก็ได้ถูกรวมอยู่ในจังหวัดชิซูโอกะ ในค.ศ. 1889 ได้มีการเปิดสถานีรถไฟฮามามัตสึ ขึ้นบนทางรถไฟสายหลักโทไกโด ซึ่งพาดผ่านเมือง ในปีเดียวกันนั้นเอง เมืองฮามามัตสึก็ได้สถานะเป็นเมืองจากการแบ่งเขตการปกครองครั้งใหม่