ในปี ค.ศ. 1859 กลุ่มประชาชนชาวจีนและชาวไทย เดิมตั้งถิ่นฐานที่เมืองมะลิวัลย์ ซึ่งตั้งห่างจากเกาะสองไปทางเหนือประมาณ 24 กิโลเมตร จนต่อมาในปี ค.ศ. 1865 นายูดา อะเหม็ด ได้นำกลุ่มชาวมลายู-อาหรับ ที่เดินทางค้าขายในแถบหมู่เกาะมะริด ได้ลงหลักปักฐานกันหน้าอ่าววิกตอเรียพ็อยนต์

ในปี ค.ศ. 1872 เซอร์แอชลีย์ ดีน นายกเทศมนตรีคนที่สามที่ปกครองมะริด ได้มอบหมายให้ตำรวจคนแรกเข้ามาประจำการที่เมืองมะลิวัลย์ แต่เนื่องจากมะลิวัลย์ตั้งอยู่ใกล้กับแม่น้ำที่ตื้นมีขนาดเล็กไม่สามารถนำเรือขนาดใหญ่เข้าไปได้ ในปี ค.ศ. 1891 หน่วยงานของภาครัฐได้ย้ายออกจากมะลิวัลย์มาตั้งในที่ใหม่คือเกาะสอง[1] และได้ตั้งนามเมืองแห่งใหม่นี้ว่า วิกตอเรียพ็อยนต์ เพื่อเทิดพระเกียรติสมเด็จพระราชินีนาถวิกตอเรียแห่งสหราชอาณาจักร จนถึงปี ค.ศ. 1948 จึงได้เปลี่ยนชื่อกลับมาเรียกว่าเกาะสองตามเดิม

ประชากรเขตเกาะสองมีกลุ่มชาติพันธุ์หลักคือชาวพม่า และกลุ่มชาติพันธุ์อื่น ๆ เช่น ชาวไทย ไทใหญ่ กะเหรี่ยง มอญ จีน มลายู และอินเดียเข้ามาตั้งถิ่นฐาน[2] เกาะสองกับจังหวัดระนองมีการติดต่อกันในด้านเศรษฐกิจ และการท่องเที่ยว โดยดินแดนทั้งสองมีแม่น้ำกระบุรีที่ไหลออกไปสู่ทะเลอันดามันกั้นเอาไว้[3][4]