เรื่องราวที่เกี่ยวกับชื่อของเกาะสีชังนั้น เป็นภาษาที่ถือเอาความหมายได้ยาก นักวิชาการทางภาษาได้ตั้งข้อสันนิษฐานถึงความหมายและที่มาของคำว่า "สีชัง" ไว้ดังนี้[4]

• สีชัง เป็นภาษาของชนชาติหนึ่งที่เป็นชนเผ่าของมอญ เรียกว่า สำแล (ซัมฮะแล)

• สีชัง มาจากภาษาจีนคำว่า "ซีซัน" ซึ่งหมายถึง "สี่คนทำไร่" โดยมีเรื่องราวเล่าว่ามีพ่อค้าเรือสำเภาจีน 4 นาย ล่องเรือค้าขายมาถึงเกาะแห่งหนึ่ง เกิดความรู้สึกเบื่อหน่ายในธุรกิจการค้ามาตั้งรกราก และหันมาประกอบอาชีพทำไร่อยู่บนเกาะ ซึ่งต่อมาคำว่า "ซีซัน" จึงแผลงมาเป็น "สีชัง"

• สีชัง มาจากคำว่า "สีห์ชงฆ์" ซึ่งหมายถึง แข้งสิงห์ ซึ่งเป็นรูปร่างของเกาะ

• มีตำนานเชื่อว่า ฤๅษีองค์หนึ่งเกิดเบื่อหน่ายโลกีย์วิสัย มาพำนักบำเพ็ญพรตจนมีชื่อเสียงเป็นที่เคารพนับถือชาวบ้าน ต่อมาจึงเรียกเกาะนี้ว่า "เกาะฤษีชัง" ซึ่งต่อมากร่อนเหลือเพียง "ษีชัง" และ "สีชัง" ในปัจจุบัน

• จากหนังสือ "กำสรวลศรีปราชญ์" ซึ่งแต่งไว้เมื่อราวปีพุทธศักราช 2235 ปรากฏเรียกเกาะสีชังว่า สระชัง เช่นในโคลงบทที่ 78 ได้พรรณนาถึงเกาะสีชังไว้ดังนี้

มุ่งเห็นละล่ายน้ำ ตาตก แม่ฮา

เกาะสระชงงชลธี โอบอ้อมมลกกเห็นไผ่รยงรก เกาะไผ่ พู้นแม่ขยวสระดื้อล้ำย้อม ยอดคราม

จากหลักฐานดังกล่าว แสดงให้เห็นว่านาม “สระชัง” คงจะเรียกขานกันมาก่อนปีพุทธศักราช 2235 เข้าใจว่า ต่อมาการออกเสียง “สระชัง” อาจเพี้ยนไปเป็น “สีชัง" ส่วนที่มาของคำว่า "สระชัง" นี้นก็เป็นไปได้อีกหลายข้อสันนิษฐาน คือ

• • "สระชัง" หมายถึง การ "ชะล้างเอาความเกลียดชังออกไป" ไม่ใช่สระน้ำแห่งความชิงชัง
  • "สระชัง" เพี้ยนมาจากคำว่า "สทึง" หรือ "จทึง" ที่แปลว่า แม่น้ำ หรือ ห้วงน้ำ ในภาษาเขมร

• มุขปาฐะบางอันเล่าว่า สี กับ ชัง เป็นชื่อบุคคลผู้มาตั้งรกรากทำมาหากินอยู่บนเกาะนี้เป็นคู่แรก อย่างไรก็ตาม