เค็มเปไต ก่อตั้งขึ้นในปี ค.ศ. 1881 โดยคำสั่งที่เรียกว่า ญี่ปุ่น: 憲兵条例; พระราชกฤษฎีกาเค็มเป, เปรียบเปรย "บทความที่เกี่ยวข้องกับสารวัตรทหาร".[2] หน่วยเค็มเปไตของญี่ปุ่นได้รับโครงสร้างมาจากหน่วยงานสารวัตร​ทหารของฝรั่งเศสที่เรียกว่า Gendarmerie Nationale รายละเอียดของหน่วยสารวัตร​ทหารผู้บริหารและตุลาการของเค็มเปไตถูกกำหนดโดย เค็มเป เรย์ แห่งปี ค.ศ. 1898, [3] ซึ่งแก้ไขครั้งที่ยี่สิบหกก่อนที่ญี่ปุ่นจะพ่ายแพ้สงครามโลกครั้งที่สองในเดือนสิงหาคม 1945

กองกำลังในระยะเริ่มแรกประกอบด้วย 349 นาย การบังคับใช้กฎหมายการเกณฑ์ทหารใหม่เป็นส่วนสำคัญของหน้าที่ของหน่วยเนื่องจากการต่อต้านจากครอบครัวชาวนา ฝ่ายกิจการทั่วไปของเค็มเปไตมีหน้าที่รับผิดชอบในนโยบายของกองทัพ, การบริหารงานบุคคลระเบียบวินัยภายในรวมถึงการสื่อสารกับกระทรวงทหารเรือ, กระทรวงมหาดไทยและการไต่สวนสืบสวนคดี ฝ่ายปฏิบัติการรับผิดชอบด้านการกระจายหน่วยสารวัตร​ทหารในกองทัพ, ความมั่นคงสาธารณะและข่าวกรอง

ในปี ค.ศ. 1907, จักรวรรดิญี่ปุ่นได้ยึดครองเกาหลีในฐานะอาณานิคม หน่วยเค็มเปไตได้รับมอบคำสั่งให้ไปประจำการที่เกาหลีด้วย[4] หน้าที่หลักของหน่วยคือกฎหมายกำหนดให้เป็น "ผู้รักษาความสงบเรียบร้อย", แม้ว่าหน่วยนี้จะทำหน้าที่เป็นสารวัตรทหาร สำหรับกองทัพญี่ปุ่นประจำการอยู่ที่นั่น สถานะนี้ยังคงไม่เปลี่ยนแปลงหลังจาก การผนวกเกาหลีของญี่ปุ่นในปี ค.ศ. 1910

เค็มเปไตมีหน้าที่รักษาความสงบเรียบร้อยภายในจักรวรรดิญี่ปุ่นอยู่ภายใต้การดูแลของรัฐมนตรีว่าการกระทรวงมหาดไทยและและบรรดาดินแดนที่ถูกยึดครองโดยจักรวรรดิภายใต้การกำกับควบคุมของรัฐมนตรีว่าการกระทรวงสงคราม นอกจากนี้ญี่ปุ่นยังมีกองกำลังตำรวจลับพลเรือน, โทคโคะ, ซึ่งเป็นตัวย่อของญี่ปุ่น คำว่าโทคุเบ็ตสึ โคะโตะ เคซัตซุไต ("หน่วยตำรวจระดับสูง") ส่วนหนึ่งของกระทรวงมหาดไทย อย่างไรก็ตาม, เค็มเปไตมีแผนกสาขาหน่วยงสย โทคโคะ เป็นของตนเองและได้รับมอบให้ทำหน้าที่มี่เกี่ยวกับการทำงานของตำรวจลับ

เมื่อหน่วยเค็มเปไตจับกุมพลเรือนภายใต้การกำกับดูแลของรัฐมนตรีว่าการกระทรวงยุติธรรม ผู้ถูกจับกุมอาจถูกดำเนินคดีทางพลเรือน

ความโหดร้ายของหน่วยเค็มเปไตนั้นโด่งดังและเป็นที่กล่าวขานอย่างมากในเกาหลีและดินแดนที่ถูกยึดครองอื่นๆ เค็มเปไตก็ถูกรังเกียจในประเทศญี่ปุ่นเช่นกันโดยเฉพาะในช่วงสงครามโลกครั้งที่สองเมื่อนายกรัฐมนตรี ฮิเดกิ โตโจ ที่เคยดำรงตำแหน่งเค็มเปไตประจำกองทัพคันโตในแมนจูเรีย ตั้งปี ค.ศ. 1935 ถึง 1937, [5] โตโจได้ใช้หน่วยเค็มเปไตอย่างกว้างขวางเพื่อให้แน่ใจว่าทุกคนมีความภักดีและไม่แสดงอาการขัดขืนต่อต้านกองทัพญี่ปุ่นในการทำสงคราม

หน่วยเค็มเปไตได้ถูกปลดอาวุธและถูกยุบหลังจากการยอมจำนนของญี่ปุ่น ในเดือนสิงหาคม ค.ศ. 1945.

หลังสงครามโลกครั้งที่ 2 ได้มีการจัดตั้งหน่วยสารวัตรทหารประจำแต่ละเหล่าทัพในกองกำลังป้องกันตนเองขึ้นมาแทนที่หน่วยเค็มเปไตที่ถูกยุบ ในชื่อ "เคมุกัง" ญี่ปุ่น​ : (警務官) โรมาจิ​ : Keimukan