ต่อมา ปี 587 ก่อนคริสต์ศักราช อาณาจักรยูดาห์ต้องล่มสลายตามไป โดยเนบูคัดเนสซาร์แห่งอาณาจักรแคลเดียมีชัยต่ออัสซีเรีย จึงตัดสินใจบุกอาณาจักยูดาห์ต่อ เขาได้ทำลายมหาวิหารยะโฮวาห์ และกวาดต้อนชาวอาณาจักรยูดาห์ไปยังบาบิโลน และให้อิสระแก่ยิวในการประกอบกิจทางศาสนา และจัดให้อยู่เป็นนิคมยิว (the jewish dispora) จึงทำให้ยิวสามารถรักษาสภาพเป็นยิวและภาษาของตัวเองได้ ต่อมาปี 538 ก่อนคริสต์ศักราช กษัตริย์ไซรัส (king cyrus) แห่งเปอร์เซียมีชัยต่ออัลคาเดียน จึงได้ปลดปล่อยชาวยิว 50,000 คน กลับเยรูซาเล็ม ทำให้ยิวมีอาณาจักรของตัวเองอีกครั้งและอิสราเอลได้รื้อฟื้นสร้างมหาวิหารใหม่อีกครั้ง แต่ก็เป็นเพียงแค่ระยะเวลาสั้น ๆ ด้วยในปี 332 ก่อนคริสต์ศักราช ชาวยิวได้ตกไปอยู่ภายใต้การปกครองของพระเจ้าอเล็กซานเดอร์มหาราช (Alexander the Great) ที่มีชัยต่อเปอร์เซียในการเข้าบุกยึดดินแดน

จนกระทั่งปี 129 ก่อนคริสต์ศักราช ชาวยิวได้มีอิสระกลับคืนมาอีกครั้ง แต่ในปี 63 คริสต์ศักราช ชาวยิวก็กลับเข้าไปอยู่ภายใต้การปกครองของโรมันแทนกรีก ทำให้ชาวยิวลำบากมากขึ้น เพราะกรีกได้นำเอารูปปั้นเทพเจ้าต่าง ๆ สร้างความไม่พอใจแก่ชาวยิวที่นับถือพระเจ้าเพียงพระองค์เดียว ในปีค.ศ. 70 ชาวอิสราเอลถูกกล่าวหาว่าเป็นกบฏที่ต้องการหลุดพ้นจากการเป็นทาสโรม และถูกปราบปรามด้วยการประหารมากมาย ซึ่งชนชาติอิราเอล และ มหาวิหารถูกทำลายพร้อมกัน

ต่อมา ปี ค.ศ. 313-636 ชาวอิสราเอลตกอยู่ภายใต้การปกครองของพวกไบแซนไทน์ (byzantine) ที่นับถือคริสต์ ไบแซนไทน์ได้สร้างโบถส์คริสต์หลายแห่งแถวโบถส์ยิวและกาลิลี จนกระทั่งได้จำกัดชาวอิสราเอลให้เข้าไปในเยรูซาเล็มได้บางวันเท่านั้น ทำให้อิสราเอลคิดก่อการกบฏ โดยได้พยายามติดต่อพวกเปอร์และเป็นสายลับให้แก่เปอร์ จนกระทั่งเปอร์มีชัยเหนือไบแซนไทน์ในปี ค.ศ. 614 แต่เป็นเพียงแค่ 3 ปีเท่านั้นที่อิสราเอลมีอิสระ