จากการที่พระแม่กาลีเป็นปางหนึ่งของพระอุมาเทวีที่ดุร้าย มีรูปลักษณ์คล้ายปีศาจและใช้เลือดและชีวิตในการบูชายัญ จึงมีความเข้าใจผิดกันว่า พระแม่กาลีเป็นเทพเจ้าแห่งความชั่วร้าย ในสำนวนไทยจึงมีคำว่า "กาลี" ซึ่งหมายความว่า สิ่งที่ชั่วร้าย เช่น "กาลีบ้านกาลีเมือง" หมายถึง "สิ่งที่ชั่วร้ายต่อบ้านเมือง" เป็นต้น บ้างก็ว่าเจ้าแม่กาลีเป็นเทพเจ้าที่โจรบูชา แต่แท้ที่จริงแล้ว ถ้าคนไม่ดีบูชาเจ้าแม่กาลี ก็จะมีอันเป็นไปในเร็ววัน

อนึ่ง ในปรณัมเทวตำนานฮินดู มีมารตนหนึ่ง ชือว่า "กลี" ซึ่งทางฮินดูถือว่าเป็นการจุติของสรรพสิ่งที่เป็น "อธรรม" เทียบได้กับซาตานในศาสนาคริตส์ โดยทุกอวตารของพระวิษณุนั้น ก็เพื่อมาปราบอวตารของมาร "กลี" นั่นเอง

การมาอวตารครั้งล่าสุดของพระวิษณุ (หากไม่นับการอวตารเป็นพระโคตมพุทธเจ้า) ซึ่งก็คือ "กฤษณะอวตาร" นั้น เป็นการอวตารมาเพื่อช่วยนำทางเหล่ามนุษย์ฝ่ายธรรม คือ ฝ่ายปาณฑพ ปราบปรามมนุษย์ฝ่ายอธรรม คือ ฝ่ายเการพ ซึ่งนำโดย ทุรโยธน์ ที่เป็นการกลับชาติมาเกิดของมาร "กลี" นั่นเอง

ในอวตารสุดท้ายของพระวิษณุ ซึ่งก็คือ "กัลกีอวตาร" จะเกิดขึ้นในช่วงของ "กลียุค" ที่อธรรมนั้นปกครองโลก โดยพระกัลกี ทำศึกเพื่อปราบมาร "กลี" เป็นครั้งสุดท้าย

จะสังเกตได้ว่า ชื่อของเทวี "กาลี" และมาร "กลี" นั้นคล้ายคลึงกันมาก สันนิษฐานได้ว่าอาจจะมีการสับสนการใช้คำว่า "กลีบ้าน-กลีเมือง" (จากคำว่ากลียุค) จนเพี้ยนไปเป็น "กาลีบ้าน-กาลีเมือง" ไป

อีกทั้งพราหมณ์ในยุคโบราณแต่ก่อน แทบจะประกอบพิธีอยู่แต่ภายในราชสำนัก ยากที่สามัญชนจะเข้าถึง การให้ความรู้ในสมัยก่อนก็อาศัยการบอกเล่า จึงเป็นไปได้ว่า "กาลีเทวี" และ "มารกลี" ได้ถูกผนวกเข้าเป็นอันหนึ่งอันเดียวกัน บวกกับรูปลักษณ์ ทำให้เทวีถูกเข้าใจผิดว่าเป็นเทพที่ชั่วร้ายไป