หลังจากนั้นชาวอิราเอลตกอยู่ภายใต้ไบแซนไทน์อีกครั้ง จึงทำให้อิราเอลถูกเนรเทศเกือบทั้งหมดและบางส่วนถูกฆ่า ชนชาติอิสราเอลจึงได้กระจัดกระจายไป ซึ่งในตอนนั้นมีการประกาศพระกิติคุณของพระเยซูคริสต์จากชาวอิสราเอลกลับใจมาเชื่อในพระคริสต์ ซึ่งได้แยกจากอิสราเอลที่นับถือศาสนาเดิมนั้นคือยูดาย คำว่ายิวจึงได้เริ่มต้นเรียกมาจากตอนนี้ ซึ่งนักศาสนสตร์อธิบายว่าน่าจะเพี้ยนมาจากคำว่า ยูดัส Judus หนึ่งในสาวกผู้ทรยศพระเยซู ซึ่งมีภาพลักษณ์คล้าย ๆ กับชนชาติอิสราเอลนั้นคือ ไว้ใจไม่ได้ เห็นแก่เงิน นิสัยขี้โกง และฉลาดเอาตัวรอด

จากนั้นชนชาติอิสราเอลได้อพยพไปยังแอฟริกา ยุโรป เปอร์เซีย และแหลมอาระเบีย ต่อมาปี ค.ศ 632 ประเทศอิสราเอล หรือ ดินแดนปาเลสไตน์ กลับมาเป็นของชนกลุ่มน้อยที่เคยอยู่มาก่อนที่อับราฮัมจะเข้ามา นั้นคือชาวฟิลิเตียหรือชาวปาเลสไตน์ ต่อมาโซจุเตริกท์ประมุขแห่งอิสลามได้เข้าครอบครองเยรูซาเร็ม ดินแดนแห่งนี้ตกอยู่ภายใต้อาณาจักอิสลาม และพวกเขาได้ให้อิสระแก่ชาวยิวในการนับถือศาสนาในฐานะพลเมือง ชาวยิวบางส่วนได้เปลี่ยนไปนับถือศาสนาอิสลามแทน แต่ก็มีจำนวนมากที่ยังคงเป็นยิว และอยู่ร่วมกับมุสลิมได้อย่างสงบสุข จนกระทั่งสงครามโลกครั้งที่สองเกิดขึ้น