พ.ศ. 2394 หรือกองกำลังชาวจีน ที่ต่อต้านราชวงศ์ชิง ได้ก่อการกบฏโดยเรียกกลุ่มตัวเองว่า กบฏไท่ผิงเทียนกั๋ว เพื่อปลดปล่อยตนเองออกจากการปกครองของราชวงศ์แมนจูที่เป็นใหญ่ยึดครองประเทศจีนอยู่ในขณะนั้น จนเกิดการรบพุ่งกันเป็นการใหญ่ เมื่อปี พ.ศ. 2405 ฝ่ายกบฏไท่ผิงเทียนกั๋วได้สลายลง แต่บรรดาเหล่านักรบและผู้คนที่เข้าร่วมก็กระจัดกระจายหนีการไล่ล่าลงมายังแถวลุ่นแม่น้ำแดง ซึ่งอยู่ทางภาคใต้ของมณฑลยูนนานและกวางสี อู๋หยาจง หรือง่ออาจง (吳亞終) น้องชายร่วมสาบานของอู๋หลิงหยุน (吳凌雲) ได้พาพรรคพวกหนีออกไปจากกว่างซี (廣西) ขึ้นไปทางเหนือที่เมืองกุ้ยซี (桂西) ก่อนจะล่าถอยไปทางตะวันตกจนเข้าสู่ยูนนาน และหนีไปถึงเขาซานไท่ (三台山) หรือเมืองซันเทียน ซึ่งภายหลังถูกเวียดนามและจีนปราบปราม อู๋หยาจงตายในที่รบ

เมื่ออู๋หยาจงตาย จึงพากันยกย่องพันลันซีหรือปวงนันซี (盤倫四 ชื่อจริงคือหวงฉงอิง 黃崇英) ขึ้นเป็นหัวหน้า และซ่องสุมรี้พลไว้ พ.ศ. 2409 ปวงนันซีนำทัพฮ่อเข้าตีเมืองเลากายในเขตญวน จนชนะได้เมืองเลากายใน พ.ศ. 2410 เมื่อเข้ายึดเมืองเลากายได้แล้วปวงนันซีก็เกิดขัดแย้งกับ ลิวตายัน (ชื่อจริงคือหลิวหย่งฝู 劉永福) นายทัพคนสำคัญ จนเกิดการรบกันเอง แยกกันเป็นสามฝ่าย ปวงนันซีพารี้พลไปตั้งมั่นที่เมืองฮายาง (河楊, Hà Giang) ในดินแดนสิบสองจุไท และใช้สัญลักษณ์ธงเหลือง เรียกว่า ฮ่อธงเหลือง (黃旗軍) ลิวตายันตั้งมั่นอยู่ในเมืองเลากาย (老街, Lào Cai) ใช้สัญลักษณ์ธงดำ เรียกว่า ฮ่อธงดำ (黑旗軍) ภายหลังลิวตายันได้สวามิภักดิ์ต่อราชวงศ์เหงียน ช่วยรบกับฝรั่งเศส ส่วนผานเหวินเอ้อ (盤文二) ตั้งมั่นในเมืองเตวียนกวาง (宣光, Tuyên Quang) ใช้สัญลักษณ์ธงขาว เรียกว่า ฮ่อธงขาว (白旗軍) ภายหลังถูกกองฮ่อธงดำโจมตีจนแตกพ่าย

พ.ศ. 2418 ในสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ฮ่อธงเหลืองได้ทำการปล้นสะดมในเขตสิบสองจุไทและเมืองพวน ตั้งค่ายที่ทุ่งเชียงคำ และยกทัพมาที่เวียงจันทน์และหลวงพระบาง[1]