หลักฐานทางประวัติศาสตร์ส่วนใหญ่ชี้ให้เห็นว่าชาวเสาราษฏร์เดิมอยู่ในเขตเสาราษฏร์ รัฐคุชราต ทางตะวันตกของอินเดีย หลักฐานจากเพลงพื้นบ้านและงานวิจัยทางพันธุกรรมสนับสนุนข้อเสนอนี้ แต่ภาษาเสาราษฏร์มีความใกล้เคียงกับภาษามราฐีและภาษากอนกานีที่เป็นภาษากลุ่มอินโด-อารยันทางตะวันตกของอินเดียมากกว่าภาษาคุชราตที่เป็นภาษาหลักของรัฐคุชราตในปัจจุบัน นักภาษาศาสตร์อธิบายว่าทั้งภาษาเสาราษฏร์และภาษาคุชราตแตกกิ่งมาจากภาษาเดียวกันแต่มีพัฒนาการต่างกัน ภาษาคุชราตได้รับอิทธิพลจากภาษาฮินดี ภาษาเปอร์เซีย และภาษาอาหรับ ในขณะที่ผู้พูดภาษาเสาราษฏร์อพยพออกไปก่อนที่อิทธิพลของมุสลิมจะเข้ามาในคุชราต ได้รับอิทธิพลจากภาษากอนกานี ภาษามราฐี ภาษากันนาดา ภาษาทมิฬและภาษาเตลุกุ เป็นที่ทราบกันดีแล้วว่าภาษาเปอร์เซียและภาษาอาหรับมีอิทธิพลต่อภาษากอนกานีและภาษามราฐีน้อย ทำให้ทั้งสองภาษายังคงคำศัพท์และลักษณะทางไวยากรณ์จากภาษาสันสกฤตไว้ได้มาก

การอพยพลงใต้ของชาวเสาราษฏร์น่าจะได้รับอิทธิพลจากการรุกรานของมุสลิมแต่ไม่มีรายละเอียดว่าอพยพเมื่อใดและเป็นจำนวนเท่าใด พวกเขาเข้ามาในอาณาจักรวิชยนคร ซึ่งมีเมืองหลวงอยู่ในรัฐการณตกะในปัจจุบัน ที่นีมีภาษาเตลุกุและภาษากันนาดาเป็นภาษาหลัก และมีการใช้ภาษาสันสกฤตกับภาษาทมิฬด้วย ยุคนี้จึงเป็นยุคที่ภาษาเสาราษฏร์รับอิทธิพลจากภาษาเตลุกุและกันนาดา

เมื่อวิชยนครแผ่อำนาจลงใต้ยึดเมืองมุนดาไรและ ฐันชวุระเข้ารวมกับอาณาจักรได้จึงจัดให้ชาวเสาราษฏร์บางส่วนลงไปในบริเวณดังกล่าว อีก 200 ปีต่อมา อาณาจักรวิชยนครเสื่อมสลายไปเมื่อ พ.ศ. 2103 หลังจากสุลต่านแห่งเดคคันชนะสงครามตาลิโกตา เปิดอินเดียใต้เข้ารับการติดต่อกับมุสลิม

เมื่อเปลี่ยนศูนย์อำนาจการปกครองใหม่ทำให้ชาวเสาราษฏร์อพยพลงใต้อีกครั้ง ทำให้ภาษาของพวกเขาได้รับอิทธิพลจากภาษาทมิฬจนกลายเป็นภาษาในปัจจุบัน มีผู้พูดภาษามราฐีกลุ่มหนึ่งในฐันชวุระ ซึ่งไม่ใช่ชาวเสาราษฏร์