เชื่อกันว่าคณะคาร์เมไลท์เริ่มเกิดขึ้นภายหลังชัยชนะของทหารครูเสดเหนือดินแดนปาเลสไตน์ ราวปลายคริสต์ศตวรรษที่ 12 โดยมีนักพรตกลุ่มหนึ่งได้พากันมาบำเพ็ญภาวนาอยู่บนเขาคาร์แมลตามแบบเอลียาห์ผู้เผยพระวจนะในศาสนายูดาห์โบราณซึ่งเคยมาบำเพ็ญภาวนาอยู่ที่นี่กับบรรดาศิษย์[3] วัตรปฏิบัติของนักพรตที่นี่เป็นไปอย่างเคร่งครัด ละทิ้งวัตถุทางโลก เน้นสวดภาวนา และอุทิศตนภายใต้การอุปคัมภ์คุ้มครองของพระนางมารีย์พรหมจารีแห่งภูเขาคาร์แมล[3] อย่างไรก็ตาม คณะยังไม่มีกฎวินัยประจำคณะอย่างชัดเจน จนกระทั่งปี ค.ศ. 1209 นักบุญอัลเบิร์ต อัครบิดรแห่งเยรูซาเลมได้มอบวินัยแก่คณะเป็นครั้งแรก[4]

ต่อมาดินแดนปาเลสไตน์ตกเป็นของชาวมุสลิม นักพรตคาร์เมไลท์ถูกขับออกจากพื้นที่ จึงอพยพไปอยู่ในยุโรป แต่ก็ทำให้สมาชิกของคณะแพร่หลายไปทั่วทวีปยุโรปจนปัจจุบัน