สโมสรเชฟฟีลด์ยูไนเต็ดก่อตั้งเมื่อวันที่ 22 มีนาคม ค.ศ.1889 ที่โรงแรมอเดลฟี ในเมืองเชฟฟีลด์ (ปัจจุบันเป็นที่ตั้งของโรงภาพยนตร์ครูซิเบิ้ล Crucible Theatre) โดยผู้ก่อตั้งคือ เซอร์ ชาร์ลส์ เคร็ก ประธานสโมสรคริกเก็ต เชฟฟีลด์ เว้นส์เดย์ ซึ่งเคยใช้สนามบรามอลล์ เลนมาก่อน ก่อนจะย้ายไปที่โอลีฟ โกรฟ ท่านเซอร์จึงต้องหาทีมใหม่มาเช่าสนามแทน ซึ่งก็คือเชฟฟีลด์ยูไนเต็ดนี่เอง

ไม่ต้องสงสัยเลยว่ายุคที่รุ่งเรืองที่สุดของเชฟฟีลด์ยูไนเต็ดอยู่ในช่วง 40 ปีแรกของสโมสร ระหว่างปี 1895-1935 เมื่อพวกเขาในแชมป์ลีกสูงสุดในฤดูกาล 1897-98 รองแชมป์ในปี 1896-97 และ 1899-1900 ชนะเลิศเอฟเอ คัพ ปี 1899, 1902 ,1915 และ 1925 รองชนะเลิศปี 1901 และปี 1936 จากปี 1925 เป็นต้นมา พวกเขาก็ไม่เคยสัมผัสถ้วยแชมป์อีกเลย หลังจากนั้นพวกเขาก็มักจะขึ้นชั้น ตกชั้น สลับกันไป พวกเขาเคยเข้าถึงรอบรองชนะเลิศบอลถ้วยในประเทศทั้งสองถ้วยและยังได้เตะเพลย์ออฟเลื่อนชั้นในเดอะ แชมเปี้ยนชิพอีกในฤดูกาล 2002-03 แต่ก็พลาดทั้งหมด

ช่วงเวลาที่มืดมนที่สุดอยู่ในช่วงปี 1975 ถึง 1981 จากที่จบอันดับ 6 ดิวิชัน 1 ในฤดูกาล 1974-75 ปีต่อมาพวกเขากลับตกชั้นสู่ดิวิชัน 2 และอีก 3 ปีก็ตกชั้นอีกสู่ดิวิชัน 3 เท่านั้นยังไม่พอในปี 1981 พวกเขาก็ตกชั้นสู่ดิวิชัน 4 (ซึ่งเทียบเท่า ลีก ทูในปัจจุบัน) แต่อยู่ได้แค่ปีเดียวพวกเขาก็กลับสู่ดิวิชัน 3 และ แค่ 2 ปีก็เลื่อนชั้นกลับสู่ดิวิชัน 2 อีกครั้ง

พวกเขาตกชั้นสู่ดิวิชัน 3 อีกครั้งในปี 1988 แต่หลังจากได้ผู้จัดการทีมคนใหม่คือ เดฟ บาสเซตต์ เขาก็ทำให้เชฟฟีลด์ยูไนเต็ด กลับสู่ยุคที่ถือว่าประสบความสำเร็จอีกครั้ง เมื่อใช้เวลาแค่ 2 ปีนำเชฟฟีลด์ยูไนเต็ดคืนสู่ ลีกสูงสุดอีกครั้งในปี 1990 หลังจาก 14 ปีที่ตกชั้นไป คราวนี้พวกเขาอยู่ได้ถึง 4 ฤดูกาล (เป็นหนึ่งในทีมที่อยู่ในยุคก่อตั้งพรีเมียร์ ลีก) และเข้าถึงรอบรองชนะเลิศเอฟเอ คัพในฤดูกาล 1992-93 ก่อนตกชั้นไปในปี 1994

พวกเขาไม่ได้อยู่ในลีกสูงสุดถึงอีก 12 ปี โดยในช่วงเวลาเหล่านั้นพวกเขาเกือบที่จะได้เลื่อนชั้นมาอยู่หลายครั้งเช่น เข้าถึงรอบเพลย์ออฟเลื่อนชั้นในปี 1997 ซึ่งคุมโดย โฮเวิร์ด เคนดัลล์ ผู้รับตำแหน่งต่อจากเดฟ บาสเซตต์ อีกครั้งในปี 1998 โดยผู้จัดการทีมชั่วคราว สตีฟ ทอมป์สัน ปีถัดมาพวกเขาได้นีล วอร์น็อกเข้ามาคุม แต่กลับสู่สภาวะที่ยากลำบากอีกครั้งเมื่อจบอันดับเกือบท้ายตารางและสถานการณ์ทางการเงินที่เข้าขั้นวิกฤตจึงไม่สามารถที่จะหาผู้เล่นมาเสริมทีมได้ตามที่ต้องการ เมื่อถึงฤดูกาล 2002-03 ก็เป็นอีกฤดูกาลที่น่าจดจำของสโมสรเมื่อเข้ารอบรองชนะเลิศฟุตบอลถ้วยภายในประเทศทั้งสองรายการ และได้เพลย์ออฟ เลื่อนชั้น แต่ก็น่าเสียดาย ที่พลาดทั้งหมด โดยรอบเพลย์ออฟเลื่อนชั้น แพ้ วูล์ฟแฮมป์ตันไป 3-0 อย่างไรก็ตาม นีล วอร์น็อกก็สามารถนำทีมเลื่อนชั้นได้สำเร็จในปี 2006 เมื่อพาทีมจบตำแหน่งรองชนะเลิศในลีกแชมเปี้ยนชิพ แต่อยู่ได้ปีเดียวก็ต้องตกชั้นไป ท่ามกลางการโต้เถียงที่รุนแรงกับ คาร์ลอส เตเบซ (ถ้าจำกันได้ ปีนั้นแมทช์สุดท้าย คาร์ลอส เตเบซ เป็นคนยิงให้เวสต์แฮมบุกไปเอาชนะแมน ยูไนเต็ดถึงถิ่น ซึ่งก่อนแข่งเวสต์แฮมมีแต้มเท่ากับเชฟฟีลด์ยูไนเต็ดแต่ลูกได้เสีย เชฟฟีลด์ยูไนเต็ดดีกว่า ทำให้เวสต์แฮม รอดตกชั้น ส่วนเชฟฟีลด์ยูไนเต็ด ตกชั้น) หลังจากนั้นเขาก็ลาออก

พวกเขาประสบกับช่วงเวลาที่ยากลำบากอีกครั้งในเดอะ แชมเปี้ยนชิพ ด้วยค่าเหนื่อยที่ไม่เหมาะสมกับระดับฝีเท้าของนักเตะประกอบกับช่วงเวลาที่ประสบความสำเร็จสั้นเกินไป ในปี 2009 เควิน แบล็กเวลล์ พาทีมเข้าถึงรอบเพลย์ออฟเลื่อนชั้นอีกครั้ง แต่ก็ไม่ประสบความสำเร็จ ทำให้ทีมเข้าสู่ยุคมืดมนอีกครั้ง ฤดูกาล 2010-11 ถือเป็นหายนะอย่างแท้จริง เมื่อพวกเขาเปลี่ยนผู้จัดการทีมไปถึง 3 คน สุดท้ายก็ต้องตกชั้น ซึ่งคุมโดยมิกกี้ อดัมส์ นั่นหมายความว่าพวกเขาต้องตกชั้นสู่ลีกวันเป็นครั้งแรกในรอบ 23 ปี และเพียง 5 ปีเท่านั้นหลังจากที่อยู่ในพรีเมียร์ลีก