นับแต่ ค.ศ. 1938 เป็นต้นมา มีกลุ่มคบคิดหลายกลุ่มวางแผนโค่นรัฐบาลนาซีแล้วในกองทัพบกเยอรมัน และองค์การข่าวกรองทหารเยอรมนี (อับแวร์) ผู้นำแผนคบคิดในช่วงแรกรวมไปถึงพลตรี ฮันส์ โอสเทอร์, พลเอกอาวุโสลูทวิช เบ็ค และจอมพลแอร์วีน ฟ็อน วิทซ์เลเบิน โอสเทอร์เป็นรองหัวหน้าสำนักงานข่าวกรองทหาร เบ็คเป็นอดีตเสนาธิการกองบัญชาการใหญ่กองทัพบกเยอรมัน (Oberkommando des Heeres) ฟ็อน วิทซ์เลเบิน เป็นอดีดผู้บัญชาการกองทัพที่ 1 และอดีตผู้บัญชาการใหญ่ตะวันตก จากนั้น พวกเขาได้ติดต่อกับพลเรือนที่โดดเด่นหลายคน รวมถึงคาร์ล ฟรีดริช เกอร์เดอเลอร์ อดีตนายกเทศมนตรีเมืองไลพ์ซิจ และนักกฎหมายเฮ็ลมูล ฟ็อน ม็อลท์เคอ

กลุ่มคบคิดทางทหารหลายกลุ่มแลกเปลี่ยนแนวคิดกับกลุ่มกู้ชาติพลเรือน นักการเมืองและปัญญาชนในไครเซาแอร์ ไครส์ (ซึ่งประชุมกันที่คฤหาสน์ฟ็อนมอลท์เคอในไครเซา) และในวงลับอื่น ๆ มอลท์เคอคัดค้านการสังหารฮิตเลอร์ เขาต้องการให้นำตัวฮิตเลอร์มาพิจารณาคดีในศาล มอลท์เคอกล่าวว่า "เราล้วนเป็นมือสมัครเล่น และจะทำพลาด" มอลท์เคอยังเชื่อว่าการฆ่าฮิตเลอร์เป็นการเสแสร้ง ฮิตเลอร์และลัทธิชาติสังคมนิยมเปลี่ยน "การกระทำผิด" เข้าสู่ระบบ อันเป็นสิ่งที่ขบวนการก้ชาติพึงเลี่ยง[7]

มีการพัฒนาแผนจัดการโค่นอำนาจและป้องกันฮิตเลอร์มิให้เปิดฉากสงครามโลกครั้งใหม่ใน ค.ศ. 1938 และ 1939 แต่ยกเลิกไป เพราะนายพลฟรันทซ์ ฮัลเดอร์ และนายพลเบราคิทช์ปฏิเสธอย่างเด็ดขาด และชาติตะวันตกไม่สามารถยับยั้งการแผ่อำนาจของฮิตเลอร์กระทั่ง ค.ศ. 1939 กลุ่มต่อต้านทหารกลุ่มแรกชะลอแผนของตนหลังฮิตเลอร์ได้รับความนิยมอย่างยิ่งหลังความสำเร็จอย่างรวดเร็วไม่คาดฝันในยุทธการที่ฝรั่งเศส

ในปี ค.ศ. 1942 มีการตั้งกลุ่มสมคบใหม่ขึ้น นำโดยพันเอกเฮ็นนิง ฟ็อน เทร็สโค ฝ่ายเสนาธิการของจอมพลเฟดอร์ ฟ็อน บ็อค แม่ทัพกลุ่มกลางในปฏิบัติการบาร์บารอสซา เทร็สโคสรรหาผู้ต่อต้านเข้าสู่เสนาธิการของกลุ่มอย่างเป็นระบบ ทำให้เป็นศูนย์กลางของกลุ่มต่อต้านในกองทัพบก แต่กลุ่มไม่สามารถทำอะไรฮิตเลอร์ได้มากนักเพราะมีการคุ้มกันอย่างแน่นหนา และไม่มีผู้ก่อการคนใดเข้าใกล้ตัวฮิตเลอร์ได้มากพอ[8]

กระนั้น ระหว่าง ค.ศ. 1942 พลตรีโอสเทอร์และพันเอกเทร็สโคสามารถสร้างเครือข่ายต่อต้านอันมีประสิทธิภาพได้อีกครั้ง สมาชิกสำคัญที่สุดของพวกเขา คือ พลเอกฟรีดริช อ็อลบริชท์ ซึ่งอยู่ประจำกองบัญชาการใหญ่กองทัพบกเยอรมัน ใจกลางกรุงเบอร์ลิน ซึ่งควบคุมระบบการสื่อสารอิสระต่อหน่วยกองหนุนทั่วประเทศเยอรมนี ความเชื่อมโยงนี้กับกลุ่มต่อต้านของเทร็สโคในกองทัพกลุ่มกลางสร้างกลไกรัฐประหารที่ใช้การได้ขึ้น[9]

ปลายปี ค.ศ. 1942 พันเอกเทร็สโคและพลเอกอ็อลบริชท์คิดแผนการลอบสังหารฮิตเลอร์ และจัดการโค่นอำนาจระหว่างที่ฮิตเลอร์เยือนกองบัญชาการสนามของกองทัพกลุ่มกลางที่สโมเลนสก์ ในเดือนมีนาคม ค.ศ. 1943 โดยวางระเบิดบนเครื่องบินของเขาแต่ระเบิดไม่ทำงาน ความพยายามหนที่สองในสัปดาห์ต่อมา ระหว่างที่ฮิตเลอร์กำลังตรวจอาวุธของโซเวียตที่ถูกยึดในกรุงเบอร์ลินก็ไม่ประสบผลเช่นกัน ความผิดพลาดเหล่าทำให้กลุ่มผู้คบคิดเสียกำลังใจ ระหว่าง ค.ศ. 1943 เทร็สโคพยายามอย่างไร้ผลในการสรรหานายทหารบกระดับสูงที่คุมกำลังภาคสนาม เช่น จอมพลเอริช ฟ็อน มันชไตน์ และจอมพลแกร์ท ฟ็อน รุนท์ชเต็ท เพื่อช่วยยึดอำนาจ เทร็สโคเจาะจงทุ่มเทกับแม่ทัพกลุ่มกลาง จอมพลกึนเทอร์ ฟ็อน คลูเกอ เพื่อเกลียกล่อมให้เคลื่อนไหวต่อต้านฮิตเลอร์ ซึ่งบางครั้งก็ได้รับความยินยอมจากเขาสำเร็จ ทว่าเขากลับไม่เด็ดขาดในนาทีสุดท้าย[10] แม้จอมพลทั้งหลายจะปฏิเสธ ทว่าไม่มีคนใดรายงานกิจกรรมทรยศต่อตำรวจลับหรือฮิตเลอร์เลย