การถูกขับจากพระนครลั่วหยาง (洛阳市) ไปยังเมืองฝางนั้น ทำให้หลี่ เจ๋อ มีชีวิตอยู่ในความหวาดกลัวตลอดมา เพราะปรากฏว่า พระนางอู่ เจ่อเทียน ผู้เป็นมารดา กระทำได้แม้กระทั่งสังหารโอรสธิดาของตัว โดยวางยาฆ่าหลี่ หง (李弘) พี่ชายของหลี่ เจ่อ ใน ค.ศ. 675 และบีบให้หลี่ เสียน (李賢) พี่ชายอีกคนของหลี่ เจ๋อ ปลิดชีวิตตนเองใน ค.ศ. 684 ด้วยเหตุนี้ ยามใดที่มีราชสารจากพระนครมาถึง หลี่ เจ๋อ มักหวาดวิตกว่า จะเป็นพระเสาวนีย์สั่งประหารตน จนอยากจะฆ่าตัวตายให้รู้แล้วรู้รอดอยู่เนือง ๆ แต่พระนางเหวย์ผู้เป็นชายาห้ามปรามว่า

สุขทุกข์เพราะกรรม กังวลไปไย วันหนึ่งก็ตาย ด่วนคิดสั้นทำไม
(祸福倚伏，何常之有？岂失一死，何遽如是也！)

ความที่พระนางเหวย์ชายาคู่ใจคอยเคียงข้างเสมอนั้น ทำให้หลี่ เจ๋อ รักและเคารพพระนางเหวย์มาก ครั้งหนึ่ง ตรัสกับพระนางว่า

ถ้าข้ามีวาสนาได้เห็นแสงเดือนแสงตะวันอีกครั้ง เจ้าปรารถนาสิ่งไร ข้าจะไม่ห้ามเลย
(異時幸復見天日，當惟卿所欲，不相禁禦)

ในระหว่างถูกเนรเทศนี้ พระนางเหวย์ให้กำเนิดธิดาอีกองค์ คือ หลี่ กั่วเอ๋อร์ (李裹兒) ชื่อ "กั่วเอ๋อร์" แปลว่า ทารกในห่อ เพราะหลี่ เจ๋อ ถอดเสื้อของตนออกออกห่อหุ้มทารกหลี่ กั่วเอ๋อร์ เมื่อแรกคลอด

ช่วงที่หลี่ เจ่อ และพระนางเหวย์ ถูกเนรเทศ เหวย์ เสฺวียนเจิน บิดาของพระนาง ซึ่งถูกขับพร้อมครอบครัวไปเมืองชินนั้น ได้ถึงแก่กรรม หนิง เฉิงจี (寧承基) หัวหน้าชนเผ่าในท้องถิ่น จึงมาจับตัวน้องสาวของพระนางเหวย์ไปเป็นเมีย แต่นางชุย (崔氏) ภริยาของเหวย์ เสฺวียนเจิน และมารดาของพระนางเหวย์ ไม่ยอมให้ไป หนิง เฉิงจี จึงฆ่านางชุย และบุตรชายทั้งสี่ คือ เหวย์ สฺวิน (韋洵), เหวย์ เฮ่า (韋浩), เหวย์ ต้ง (韋洞), และเหวย์ ฉื่อ (韋泚) เสียสิ้น

ใน ค.ศ. 690 พระนางอู่ เจ๋อเทียน บีบให้ถังรุ่ยจงหลี่ ต้าน สละราชสมบัติให้ตน แล้วขึ้นเสวยราชย์เป็นกษัตริย์หญิง ตั้งราชวงศ์ใหม่ คือ ราชวงศ์โจว (周朝) ทำให้ราชวงศ์ถัง (唐朝) ของสกุลหลี่ (李) ขาดตอน อู่ เจ๋อเทียน ตั้งหลี่ ต้าน เป็นรัชทายาทของตน แต่มักระแวงว่า หลี่ ต้าน คิดล้มล้างตน ใน ค.ศ. 693 จึงประหารองค์หญิงหลิว (劉公主) ชายาของหลี่ ต้าน แล้วให้จับหลี่ ต้าน ไปไต่สวน มาเลิกไต่สวนเอาเมื่ออัน จินฉาง (安金藏) ข้ารับใช้ของหลี่ ต้าน คว้านท้องตนเองออกสาบานว่า หลี่ ต้าน จงรักภักดี แต่แม้กระนั้น อู่ เจ่อเทียน ก็คอยหาเหตุเอาสกุลหลี่ออกจากตำแหน่งรัชทายาท เพื่อตั้งหลานของตน เช่น อู่ เฉิงซื่อ (武承嗣) และอู่ ซานซือ (武三思) ขึ้นเป็นแทนอยู่เสมอ

ครั้น ค.ศ. 698 อัครมหาเสนาบดีตี๋ เหรินเจี๋ย (狄仁傑) กราบทูลอู่ เจ๋อเทียน ให้หนุน "ลูก" ไม่ใช่ "หลาน" เสนาบดีคนอื่น ๆ เช่น หวัง ฟางชิ่ง (王方慶) และหวัง จี๋ช่าน (王及善) ตลอดจนสองจาง (張) ผู้เป็นชายชู้ของอู่ เจ๋อเทียน คือ จาง อี้จือ (張易之) และจาง ชางจง (張昌宗) ก็สนับสนุนความคิดนี้ พร้อมเสนอให้เรียกหลี่ เจ๋อ กับครอบครัว กลับคืนพระนคร ฉะนั้น ในฤดูใบไม้ผลิ ค.ศ. 698 อู่ เจ่อเทียน จึงมีพระเสาวนีย์ให้หลี่ เจ๋อ และครอบครัว กลับพระนครลั่วหยาง