ยุคทองของจักรวรรดิไบแซนไทน์ ด้านหนึ่งก็มีผลร้ายเหมือนกัน นั่นคือ ด้วยความมั่งคั่ง และรุ่งเรืองต่อเนื่องยาวนานทำให้ประชาชนหลงใหลและขาดการเตรียมตัว ทำให้จักรวรรดิเริ่มอ่อนแอลง อีกทั้งเกิดความแตกแยกในหมู่ผู้ปกครองและชนชั้นสูงและระหว่างกลุ่มขุนนางทหารกับขุนนางพลเรือน เมื่อเกิดการรุกรานจากศัตรูทำให้ไบแซนไทน์ต้องประสบปัญหาในที่สุด

โดยเฉพาะการรุกรานของชนเผ่าเติร์กหรือเซลจุกเตริร์กในเวลาต่อมากล่าวคือชนเผ่าเติร์กเป็นศัตรูกลุ่มใหม่ที่เริ่มรุกรานจักรวรรดิไบแซนไทน์ในกลางศตวรรษที่ 11 อันที่จริงแล้วเมื่อสมัยจักรพรรดิคอนสแตนตินที่ 7 เคยได้เข้าร่วมกับพวกเติร์กในการต่อต้านการรุกรานของบัลแกเรียมาแล้ว ซึ่งหลังจากนั้นจักรพรรดิทรงอนุญาตให้ชาวเติร์กตั้งถิ่นฐานอยู่ในทางตอนใต้ของแม่น้ำดานูบ และที่สำคัญเหนือไปกว่านั้นชาวไบแซนไทน์เองที่สอนให้ชาวเติร์กให้รบเก่งและมีระบบ

ต่อมาเมื่อเติร์กขยายตัวมากยิ่งขึ้นก็เริ่มรุกรานพื้นที่หลายแห่งของจักรวรรดิไบแซนไทน์ ในปี ค.ศ. 1055 เติร์กสามารถชนะเปอร์เซีย หลังจากนั้นพวกเขาก็ยกทัพเข้าแบกแดดและเริ่มสถาปนาตนเองเป็นสุลต่าน พร้อมอ้างตัวเป็นผู้คุ้มครองกาหลิบอับบาสิด และเริ่มขยายอำนาจเข้าสู่อียิปต์และอนาโตเนีย ต่อมา ค.ศ. 1065 เติร์กรุกเข้าอาร์มีเนีย และ ค.ศ. 1067 ก็สามารถขยายอำนาจเข้าสู่อนาโตเลียตอนกลาง

ค.ศ. 1067 ไบแซนไทน์มีจักรพรรดิคือ โรมานุสที่ 4 พระองค์ทรงพ่ายแพ้ต่อกองทัพเติร์กที่สนามรบอาร์มีเนีย และพระองค์ก็ถูกจับเป็นเชลยต่อกองทัพของเติร์กจำเป็นต้องเซ็นสัญญาสงบศึกกับเติร์กก่อนจะได้รับการปล่อยตัว เมื่อจักรพรรดิโรมานุสเดินทางกลับยังคอนสแตนติโนเปิลพระองค์ก็ไม่เป็นที่ยอมรับจนเกิดการแย่งชิงอำนาจขึ้นภายในจักรวรรดิไบแซนไทน์ ทำให้เติร์กส่งกองกำลังมารบกวนจนสามารถยึดไนเซีย อันเป็นเมืองฐานกำลังทหารและเศรษฐกิจของจักรวรรดิ ไม่เพียงเท่านั้นไบแซนไทน์ยังถูกซ้ำเติมอีกชาวนอร์แมน รุกเข้ามายึดอิตาลีทั้งหมดในกลางปี ค.ศ. 1071 โดยเข้ายึดฐานที่มั่นของไบแซนไทน์ในอิตาลีที่เมืองบารีได้ให้อิตาลีทั้งหมดตกอยู่ในใต้อำนาจของนอร์แมนกลายเป็นการปิดฉากอำนาจของไบแซนไทน์ในคาบสมุทรอิตาลีไปด้วย

หลังจากเสียอิทธิพลในฝั่งอิตาลีไปแล้ว ไบแซนไทน์ก็มีอาณาเขตเล็กลงมาก นอกจากนั้นภายในไบแซนไทน์ก็เกิดการแย่งชิงอำนาจกันอย่างไม่สิ้นสุด หลังจากที่แย่งชิงกันอยู่ถึง 4 ปี สุดท้าย อเล็กเซียส คอมมินุส ซึ่งเป็นขุนนางทหารก็ได้เป็นจักรพรรดิเมื่อจักรวรรดิถูกปิดล้อมทั้งตะวันตกโดยชาวนอร์แมน และทางตะวันออกโดยเซลจุกเติร์กทำให้จักรพรรดิ อเล็กเซียสที่ 1 (ค.ศ. 1081-1811) ต้องไปขอความช่วยเหลือจากพวกเวนิส โดยที่พระองค์ต้องยอมตกลงตามข้อเรียกร้องของเวนิส โดยการให้สิทธิการค้าในกรุงคอนสแตนติโนเปิลและที่อื่น ๆ ในไบแซนไทน์ ซึ่งข้อตกลงนี้เองทำให้ชาวเวนิสกลายมาเป็นพ่อค้าสำคัญในด้านตะวันออกของทะเลเมดิเตอร์เรเนียนในเวลาต่อมา

สงครามครูเสดการรุกรานของชนทั้งสองต่อไบแซนไทน์ก็ยังไม่สิ้นสุดลงจนกระทั่งจักรพรรดิอเล็กเซียสที่ 1 จำต้องขอความชั่วเหลือไปยังสมเด็จพระสันตะปาปา โดยยกขออ้างให้ช่วยเหลือเมืองเยรูซาเล็ม ดินแดนศักดิ์สิทธิ์ที่ถูกเติร์กยึดครองไปตั้งแต่ ค.ศ. 1077 และกองทัพครูเสดครั้งที่ 1 ก็ถูกส่งเข้ามา

ด้วยชัยชนะของกองทัพครูเสดดินแดนบางส่วนก็ได้ส่งคืนให้กับจักรพรรดิไบแซนไทน์ แต่บางส่วนแม่ทัพชาวมอร์แมนกลับไม่ยอมยกคืนให้ทั้งที่ค่าใช้จ่ายต่าง ๆ นั้นจักรพรรดิไบแซนไทน์เป็นผู้ที่เสียให้เกือบทั้งหมด ผ่านพ้นสงครามครูเสดครั้งที่ 1 พวกเติร์กก็ยังรุกรานอยู่เช่นเดิม จักรพรรดิองค์ต่อมาเห็นว่าชาวตะวันตกมีบทบาทจึงได้ดำเนินนโยบายเป็นมิตรกับชาวตะวันตกเอาไว้ ต่อมาเกิดสงครามครูเสดครั้งที่ 2 กองทัพครูเสดต้องใช้ไบแซนไทน์เป็นทางผ่านทำให้ไบแซนไทน์ถูกกองทัพครูเสดบางกลุ่มเข้าปล้น