ในระบอบสหพันธรัฐ รัฐบาลท้องถิ่น (หรือเรียกอีกชื่อหนึ่งว่า "รัฐบาลองค์ประกอบ") นั้นถือว่ามีอำนาจอธิปไตยในบางส่วน ทั้งยังมีอำนาจเฉพาะที่รัฐบาลกลางไม่สามารถใช้ได้ ส่วนรัฐบาลกลางจะมีอำนาจในการบริหารจัดการระบบราชการส่วนรวม และมีอำนาจในการกำหนดนโยบายทางการทูต ซึ่งรวมไปถึงการค้า การสื่อสาร และการทหาร ซึ่งเป็นอำนาจที่รัฐบาลท้องถิ่นไม่มีในครอบครอง อีกทั้งยังไม่มีสถานะเป็นรัฐอธิปไตยในกฎหมายสากล ซึ่งจะถือว่ารัฐบาลกลางเป็นตัวแทนของรัฐบาลท้องถิ่นทั้งประเทศ

ส่วนใหญ่แล้ว ทั่วทั้งของสหพันธรัฐจะใช้ระบบรัฐบาลกลาง-ท้องถิ่นในการบริหารราชการ แต่ในบางกรณี สหพันธรัฐอาจมีดินแดนที่รัฐบาลกลางเป็นผู้ควบคุมโดยตรง อย่างเช่นประเทศแคนาดาและออสเตรเลียที่รัฐบาลกลางมีอำนาจในการเปลี่ยนหรือยกเลิกขอบเขตอำนาจบริหารของรัฐบาลท้องถิ่นได้ โดยไม่จำเป็นต้องขอความยินยอมก่อน ทำให้ปัจจุบันแต่ละรัฐของสองประเทศนี้มีอำนาจในการปกครองตนเองที่ไม่เท่าเทียมกัน หรือประเทศอินเดีย ที่นอกจากรัฐบาลองค์ประกอบแล้ว ยังมีดินแดนที่อยู่ใต้อาณัติของสหภาพอีกหลายแห่งด้วยกัน และสหรัฐอเมริกาที่มีเขตปกครองพิเศษของรัฐบาลกลาง คือกรุงวอชิงตัน ดี.ซี. (DC = District of Columbia; เขตปกครองพิเศษโคลัมเบีย) ซึ่งเป็นเขตปกครองพิเศษที่ติดต่อกับรัฐเวอร์จิเนียและรัฐแมริแลนด์ โดยวอชิงตัน ดี.ซี. อยู่ในเขตฝั่งซ้ายของแม่น้ำพอตอแมก (Potomac River)ในกรณีข้างต้น รัฐบาลกลางจะแยกเขตปกครองออกจากการปกครองของรัฐบาลท้องถิ่นดั้งเดิม และใช้พื้นที่ของเขตเป็นที่ตั้งของหน่วยงานราชการต่างๆ ตามที่รัฐบาลกลางกำหนด ส่วนใหญ่แล้วเขตการปกครองพิเศษที่รัฐบาลกลางเป็นผู้ควบคุมโดยตรงจะอยู่ใน บริเวณที่มีประชากรเบาบางเกินกว่าที่จะตั้งเป็นรัฐ หรือไม่ค่อยมีคุณค่าทางเศรษฐกิจมากเท่าใดนัก หรือไม่ก็เป็นบริเวณที่เคยมีความสำคัญทางประวัติศาสตร์ เช่นเมืองหลวงของประเทศ

ต้นกำเนิดของสหพันธรัฐ ส่วนใหญ่มีจุดเริ่มต้นมาจากข้อตกลงร่วมกันระหว่างรัฐอธิปไตย ซึ่งอาจเป็นข้อตกลงเพื่อบรรลุวัตถุประสงค์ทางการค้าหรือการทหาร (ในกรณีของสหรัฐอเมริกา) หรือข้อตกลงระหว่างรัฐเพื่อสถาปนารัฐชนชาติเดียว ที่รวบรวมเขตแดนจากรัฐต่างๆ ที่มีเชื้อชาติเดียวกันเข้ามารวมกันเป็นประเทศเดียว (ในกรณีของเยอรมนี) อย่างไรก็ดี ต้นกำเนิดและความเป็นมาของแต่ละชาติย่อมแตกต่างกัน อย่างในออสเตรเลีย ที่สถาปนาสหพันธรัฐจากการอนุมัติของประชาชนผ่านการลงคะแนนเสียงในประชามติ รัฐธรรมนูญออสเตรเลีย ในขณะที่ประเทศบราซิลเคยใช้ทั้งระบอบสหพันธรัฐและการปกครองแบบรัฐเดียว บราซิลในปัจจุบันประกอบไปด้วยรัฐที่มีอาณาเขตเหมือนในยุคเริ่มแรกที่เพิ่งมี การตั้งอาณานิคมในบราซิลโดยชาวโปรตุเกส ซึ่งในปัจจุบันก็ยังคงมีความสำคัญในหลายๆ ด้านต่อประเทศ และรัฐใหม่ที่ถูกตั้งขึ้นมาโดยรัฐบาลกลาง โดยรัฐล่าสุดถูกตั้งขึ้นมาผ่านรัฐธรรมนูญในปี พ.ศ. 2531 โดยมีจุดประสงค์หลักคือเป็นที่ตั้งให้กับหน่วยงานบริหารราชการ