ที่มาของขนมยังไม่เป็นที่แน่ชัดสำหรับซ่าหริ่ม บทความทางการเมืองที่วิเคราะห์คำว่าซ่าหริ่มได้อ้างถึงบทประพันธ์ในสมัยราชการที่สองที่ว่าความว่า

ซ่าหริ่มลิ้มหวานล้ำ แทรกใส่น้ำกะทิเจือ
วิตกอกแห้งเครือ ได้เสพหริ่มพิมเสนโรย

แล้วยังพบว่าซ่าหริ่มไม่ได้มาจากโปรตุเกสเพราะชาวโปรตุเกสจะทำขนมแห้งมากกว่าขนมเปียก ทว่า ซ่าหริ่มได้พัฒนามาจากทับทิมกรอบและลอดช่องสิงคโปร์ ทั้งหมดเป็นขนมแป้งเหนียวใสคล้ายวุ้นเส้นผสมสี และปัจจุบันชาวชวา-มลายูเรียกขนมนั้นว่า Dawet ดาเวต เรียกตัวแป้งวุ้นว่าเชนดอล Cendol จึงเชื่อได้ว่าซ่าหริ่มเป็นขนมที่ชาวไทยนำมาจากชาวชวาตั้งแต่สมัยกรุงศรีอยุธยาตอนปลาย แต่ก็ได้รับการพัฒนาและปรับรูปแบบโดยชาวบ้านที่เรียกกันว่าภูมิปัญญาชาวบ้านนั่นเอง[3]

วิภาวรรณ เทียมปาน ได้จัดทำเอกสารเกี่ยวกับองค์ความรู้ของขนมไทยและอธิบายว่า "เป็นขนมที่ดัดแปลงมาจากขนมลอดช่อง แตกต่างกันตรงขนาดและสีของตัวเส้น ขนมลอดช่องจะมีเส้นใหญ่ ส่วนขนมซ่าหริ่มจะมีเส้นเล็กกว่า และมีสีสันหลากหลายสี"[4] ทั้งยังบอกว่าขนมซ่าหริ่มนิยมรับประทานกันในฤดูร้อน