กวนอูได้ข่าวว่าเล่าปี่ยังมีชีวิตอยู่และขณะนั้นอยู่ด้วยอ้วนเสี้ยว จึงตัดสินใจลาโจโฉกลับไปหาเล่าปี่พร้อมด้วยภรรยาทั้งสองคนของเล่าปี่ กวนอูพยายามเข้าพบโจโฉเพื่อคำนับลาแต่โจโฉไม่ยอมให้กวนอูเข้าพบแสร้งทำเป็นป่วย กวนอูจึงเขียนหนังสือลาให้โจโฉแล้วเดินทางจากไป โดยไม่ได้นำทรัพย์สินสิ่งของใดๆที่โจโฉมอบให้ติดตัวไป เว้นแต่ม้าเซ็กเธาว์เท่านั้น กวนอูยังได้สละบรรดาศักดิ์ "ฮั่นสือแต่งเฮา" (ฮั่นโซ่วถิงโหว) แล้วทิ้งตราประจำตำแหน่งไว้ เหล่าผู้ใต้บังคับบัญชาของโจโฉต่างไม่พอใจกวนอูที่แสดงกิริยาโอหังที่จากไปโดยไม่มาคำนับลา จากอาสาโจโฉจะไปไล่ตามจับกวนอูกลับมา โจโฉไม่อนุญาตเพราะรู้ดีว่าไม่มีใครที่สามารถหยุดกวนอูไว้ได้

กวนอูขี่ม้าคุ้มครองรถของพี่สะใภ้ทั้งสองเดินทางไปจนถึงด่านแรกคือด่านตังเหลงก๋วนซึ่งมีนายด่านชื่อขงสิ้ว ซึ่งได้ห้ามกวนอูไม่ให้ผ่านด่านไปเพราะกวนอูไม่มีหนังสือเบิกด่าน กวนอูโมโหจึงสังหารขงสิ้วแล้วเดินทางผ่านด่านตังเหลงก๋วนไป

ต่อมากวนอูคุมรถพี่สะใภ้เดินทางมาถึงเมืองลกเอี๋ยง ฮันฮกผู้รักษาเมืองลกเอี๋ยงได้นำทหารหนึ่งพันนายออกมาสกัดกวนอู ฮันฮกให้เบงทันขุนพลผู้ช่วยไปท้ารบกับกวนอู แต่เบงทันก็ถูกกวนอูฟันตัวขาดเป็นสองท่อนถึงแก่ความตาย ระหว่างที่กวนอูรบกับเบงทัน ฮันฮกได้ลอบยิงเกาทัณฑ์ใส่กวนอู ลูกเกาทัณฑ์ไปถูกไหล่ซ้ายของกวนอู กวนอูจึงชักลูกเกาทัณฑ์ออก แล้วขับม้าตรงไปสังหารฮันฮก ทหารฮันฮกตกใจต่างหลีกทางให้กวนอูผ่านด่านไป

คณะของกวนอูเดินทางมาถึงด่านกิสุยก๋วน นายด่านชื่อเปี๋ยนฮีออกมาต้อนรับกวนอูเข้ามาในด่านแล้วเชิญกวนอูมากินโต๊ะที่วัดตีนก๊กซือ แต่แท้จริงแล้วเปี๋ยนฮีได้แอบสั่งทหารสองร้อยนายให้ซุ่มอยู่ในวัดแล้วให้รุมฆ่ากวนอูเมื่อเปี๋ยนฮีให้สัญญาณ หลวงจีนของวัดตีนก๊กซือชื่อเภาเจ๋งผู้ซึ่งเป็นคนบ้านเดียวกันกับกวนอูได้บอกใบ้กวนอูให้รู้ว่าเปี๋ยนฮีคิดทำร้าย กวนอูรู้ความดังนั้นจึงสังหารเปี๋ยนฮีแล้วผ่านด่านกิสุยก๋วนไป

คณะของกวนอูเดินทางต่อไปถึงเมืองเอ๊งหยง (เอี๋ยงหยง) อองเซ็ก นายด่านเอ๊งหยงได้ใช้อุบายคล้ายๆกับเปี๋ยนฮีในการจะสังหารกวนอู โดยการทำเป็นต้อนรับกวนอูเข้ามาในเมืองแล้วให้พักในที่พักรับรอง หลังจากนั้นอองเซ็กจึงสั่งให้ทหารในบัญชาชื่องอปั้นให้นำทหารหนึ่งพันนายมาล้อมที่พักรับรองของกวนอูแล้วจุดไฟเผาในตอนกลางคืน งอปั้นสงสัยว่ากวนอูมีลักษณะอย่างไรจึงเข้าไปแอบดูกวนอูที่กำลังอ่านหนังสืออยู่ในห้อง กวนอูสังเกตเห็นงอปั้นจึงเชิญให้เข้ามา ก่อนหน้านี้กวนอูเคยพบงอหัวบิดาของงอปั้นซึ่งได้ฝากหนังสือถึงงอปั้นไว้กับกวนอู กวนอูได้มอบหนังสือจากงอหัวให้แก่งอปั้น หลังงอปั้นอ่านหนังสือก็ตัดสินใจที่จะช่วยกวนอูให้พ้นอันตรายจึงเปิดเผยแผนการของอองเซ็กให้กวนอูฟังแล้วไปลอบเปิดประตูเมืองให้กวนอูและคณะหนีออกไป ภายหลังอองเซ็กรู้ว่ากวนอูหนีไปจึงนำทหารไล่ตามแต่ก็ถูกกวนอูสังหารในที่สุด

ท้ายที่สุดคณะของกวนอูก็เดินทางมาถึงท่าเรือข้ามฟากฝั่งใต้ของแม่น้ำฮองโห ขุนพลจินกี๋ได้ยกมาสกัดกวนอูไม่ให้ข้ามแม่น้ำ กวนอูโมโหจึงฆ่าจินกี๋ กวนอูข้ามแม่น้ำมาได้แล้วล่วงเข้าเขตแดนของอ้วนเสี้ยว ต่อมากวนอูได้รู้ข่าวว่าเล่าปี่ไม่ได้อยู่ด้วยอ้วนเสี้ยวแล้วและได้ออกไปอยู่ที่ยีหลำ กวนอูจึงนำคณะเดินทางไปทางยีหลำ แล้วได้พบกับเล่าปี่และเตียวหุยอีกครั้งที่เมืองเก๋าเซีย

ระหว่างการเดินทาง กวนอูได้พบคนมากมายที่ต่อมาได้มาเป็นลูกน้องในบังคับบัญชา ได้แก่ เลียวฮัว จิวฉอง และ กวนเป๋ง (ซึ่งมาเป็นบุตรบุญธรรมของกวนอู) [16]

ในจดหมายเหตุสามก๊ก บทชีวประวัติกวนอู มีการบันทึกถึงเรื่องที่กวนอูลาจากโจโฉไป รวมถึงเหตุการณ์ที่เกิดขึ้นก่อนที่กวนอูจะจากไป [17] แต่ไม่มีการกล่าวถึงเหตุการณ์ที่กวนอูฝ่าห้าด่าน รวมถึงเรื่องราวเกี่ยวนายด่านทั้งหกคน (ขงสิ้ว ฮันฮก เบงทัน เปี๋ยนฮี อองเซ็ก และจินกี๋) ก็ไม่มีการกล่าวถึง