เกาะน่าจะมีการตั้งรกรากครั้งแรกในราวปี 1600 และตั้งชื่อตามอดีตนักล่าอาณานิคม แดเนียล ฮอลแลนด์ (Daniel Holland) และเป็นผู้ซื้อเกาะนี้จากมณฑลดอเรสเตอร์ ภายในปี 1850 ชุมชนชาวประมงและชาวนาครอบครัวต่าง ๆ ไอ้เกิดขึ้นบนเกาะ และภายในปี 1910 เกาะมีประชากร 360 คน เป็นหนึ่งในเกาะที่มีประชากรมากสุดในอ่าวเชสพีก ชุมชนเกาะประกอบด้วยบ้าน 70 หลัง ร้านค้าและสิ่งปลูกสร้างอื่น ๆ รวมถึงไปรษณีย์ของตนเอง โรงเรียนขนาดสองห้องที่มีครูประจำสองคน โบสถ์หนึ่งหลัง ทีมเบสบอล ศูนย์ชุมชน และคลินิก ชาวเกาะหาเลี้ยงชีพด้วยการขุดเลนหาหอยนางรม, ตกปลาแชด และ จับปู กองเรือประมงของเกาะประกอบด้วยเรือชิปแจ็ก 41 ลำ, ชูเนอร์ 10 ลำ และ บักกาย 36 ลำ บางส่วนในจำนวนนี้สร้างขึ้นบนเกาะนี้[3][4]

ในปี 1914 คลื่นลมและคลื่นน้ำเริ่มจะกัดเซาะเกาะอย่างหนักในฝั่งของเกาะที่บ้านเรือนส่วนใหญ่ตั้งอยู่ ชาวเกาะจึงจำเป็นต้องย้ายออกจากเกาะไปยังแผ่นดินใหญ่ ส่วนใหญ่ได้รื้อถอนบ้านและสิ่งปลูกสร้างเพื่อนำกลับไปแผ่นดินใหญ่ ส่วนใหญ่ย้ายไปตั้งรกรากใหม่ที่คริสฟีลด์ มีความพยายามป้องกันการกัดเซาะโดยการสร้างกำแพงหิน แต่ไม่สำเร็จนัก ครอบครัวสุดท้ายย้ายออกจากเกาะในปี 1918 หลังพายุเข้าถล่มเกาะและทำลายโบสถ์ประจำเกาะลง บนเกาะยังคงมีคนอาศัยอยู่ไม่กี่คนในช่วงฤดูประมง กระทั่งปี 1922 โบสถ์ได้ย้ายไปปลูกใหม่ที่แฟร์เมาท์[3]

สตีเฟน ไวต์ (Stephen White) เจ้าหน้าที่รัฐ เป็นผู้ดูแลเกาะนี้อยู่หลายปี และได้จัดตั้งมูลนิธิพิทักษ์เกาะฮอลแลนด์ (The Holland Island Preservation Foundation) ขึ้น ในเดือนมิถุนายน 2010 ไวต์ขายเกาะนี้ให้กับมูลนิธิคองคอร์ด (Concorde Foundation) และในเดือนตุลาคม 2010 บ้านหลังสุดท้ายบนเกาะซึ่งสร้างขึ้นในปี 1888 ได้ถล่มลง[4][5]