หลังจากสอบตกหลายครั้ง ซอร์ถูกบังคับให้กลับสู่กัมพูชาในเดือนมกราคม พ.ศ. 2496 การที่เขาเข้าร่วมกับกลุ่มฝ่ายซ้ายในฝรั่งเศส ทำให้ถูกถอนทุน แต่พี่ชายคือลต ซวงช่วยส่งเสียจนเรียนจบ[12] เขาเป็นสมาชิกองค์กรลับคนแรกที่กลับสู่กัมพูชา ในเดือนสิงหาคม พ.ศ. 2494 ซอร์พร้อมด้วยราท ซัมเมือนเดินทางไปยังเขตของเวียดมินห์ในหมู่บ้านกระเบา จังหวัดกำปงจามและจังหวัดเปรยแวงใกล้กับชายแดนกัมพูชา ซอร์ได้เรียนรู้ว่าพรรคปฏิวัติประชาชนเขมรมีขนาดเล็กกว่าองค์กรแนวร่วมของชาวเวียดนาม สนธิสัญญาสันติภาพเจนีวาใน พ.ศ. 2497 ทำให้กองกำลังของเวียดมินห์ทั้งหมดต้องถอนตัวออกไป มีกลุ่มของชาวเขมรจำนวนหนึ่งเดินทางไปยังเวียดนามด้วย ส่วนซอร์เลือกกลับมากัมพูชา

หลังจากที่กัมพูชาได้รับเอกราช พรรคฝ่ายซ้ายและพรรคฝ่ายขวาในกัมพูชาได้ต่อสู้กันเพื่อจัดตั้งรัฐบาลใหม่ พระนโรดม สีหนุ กษัตริย์กัมพูชาได้จัดตั้งพรรคการเมืองต่อต้านทั้งสองกลุ่ม โดยใช้กำลังตำรวจและทหารในการกดดัน การเลือกตั้งที่ไม่โปร่งใสใน พ.ศ. 2498 ทำให้ฝ่ายซ้ายของกัมพูชาหมดความหวังที่จะต่อสู้ตามกฎหมาย ขบวนการสังคมนิยมได้เปลี่ยนไปใช้การต่อสู้แบบกองโจร เมื่อซอร์กลับสู่พนมเปญ เขาเข้าร่วมกับกลุ่มพรรคฝ่ายซ้าย ซอร์แต่งงานกับเขียว พอนนารี เมื่อ 14 กรกฎาคม พ.ศ. 2499 พอนนารีไปเป็นครูที่ลิซี สีสุวัตถ์ ส่วนซอร์ไปสอนวรรณคดีฝรั่งเศสและประวัติศาสตร์ที่โรงเรียนเอกชนที่ตั้งขึ้นใหม่ชื่อจำเริญวิชา[17]เขาเคยออกหนังสือพิมพ์ชื่อสามักกี ร่วมกับพี่ชายชื่อ ลต ฉาย[12] ต่อมาถูกรัฐบาลของเจ้าสีหนุสั่งปิด