เจมส์ เกิดในประเทศไทย[12] บิดาชื่อสมิต อัศรัสกร[13] เป็นชาวไทยเชื้อสายจีน มารดาชื่อคาเร็น เป็นชาวฮ่องกง[14][15] เขาเป็นบุตรคนโตของครอบครัว[16] มีน้องสาวชื่อวาเนสซ่า[12] ครอบครัวเดินทางไปมาระหว่างประเทศไทย–ฮ่องกง บิดาทำธุรกิจนำเข้า-ส่งออกสินค้าและอสังหาริมทรัพย์ ส่วนมารดาทำงานกับบริษัทรับจัดประมูลผลงานศิลปะชื่อคริสตีส์[17] ปัจจุบันเขาอาศัยอยู่กับบิดาในไทย มารดาพำนักอยู่ฮ่องกง[18] ส่วนน้องสาวศึกษาต่อที่ประเทศออสเตรเลีย

เริ่มเข้าเรียนชั้นอนุบาลถึงชั้นประถมศึกษาตอนต้นที่โรงเรียนนานาชาตินิสท์ (New International School of Thailand - NIST) จนอายุ 8 ปี ทั้งครอบครัวจึงได้ย้ายไปอาศัยอยู่ฮ่องกง ขณะที่อาศัยอยู่ฮ่องกงได้เข้าศึกษาที่โรงเรียนควอร์รีเบย์ (Quarry Bay School) ตั้งแต่เกรด 4-6 และเกรด 7 ที่โรงเรียนเซาท์ไอส์แลนด์ (South Island School) และกลับมาศึกษาต่อชั้นมัธยมศึกษาปีสุดท้ายที่โรงเรียนนานาชาติฮาร์โรว์ (Harrow International School) ประเทศไทยขณะอายุ 16 ปี รวมเป็นระยะเวลา 8 ปีที่อาศัยอยู่ฮ่องกง จบการศึกษาระดับปริญญาตรี คณะศิลปศาสตร์ สาขาอังกฤษธุรกิจ มหาวิทยาลัยอัสสัมชัญ[19] และศึกษาต่อระดับปริญญาโท คณะบริหารธุรกิจ สาขาการจัดการการท่องเที่ยว มหาวิทยาลัยอัสสัมชัญ[20][21]