คล็อด อี. แชนนอน ได้รับการขนานนามว่าเป็น "บิดาแห่งทฤษฎีสารสนเทศ" ทฤษฎีของแชนนอนนี้ เป็นทฤษฎีแรกที่ได้ทำการวินิจฉัยปัญหาทางการสื่อสาร ในรูปของปัญหาคณิตศาสตร์เชิงสถิติ เป็นทฤษฎีที่ได้เปิดหนทาง ให้วิศวกรการสื่อสาร สามารถคำนวณขนาด หรือปริมาณสูงสุดของช่องสัญญาณ ออกมาในหน่วยบิต (bits)

ทฤษฎีสารสนเทศที่เรารู้จักอยู่ในทุกวันนี้ เป็นที่ยอมรับโดยทั่วไปว่า เริ่มต้นจากผลงานตีพิมพ์ของแชนนอนเรื่องทฤษฎีเชิงคณิตศาสตร์ของการสื่อสาร (The Mathematical Theory of Communication) ลงในวารสารทางเทคนิคเบลล์ซิสเต็ม (Bell System Technical Journal) ฉบับเดือนมิถุนายน ในปี พ.ศ. 2491 (ค.ศ. 1948) ซึ่งงานชิ้นนี้นั้น เป็นงานที่ได้สร้างเสริมต่อมาจาก ผลงานของ แฮร์รี นายควิสท์ (Harry Nyquist) และ ราล์ฟ ฮาร์ทลีย์ (Ralph Hartley)

ในงานของแชนนอน ที่ทำให้วิศวกรระบบสื่อสาร สามารถออกแบบระบบสื่อสารที่มีประสิทธิภาพสูงขึ้นได้นั้น แชนนอนได้นิยามเอนโทรปีของสารสนเทศเท่ากับ

H = − ∑ i p i log ⁡ p i {\displaystyle \mathbf {H} =-\sum _{i}p_{i}\log p_{i}}

สูตรนี้เมื่อนำไปใช้กับ แหล่งกำเนิดสารสนเทศ จะทำให้สามารถคำนวณขนาดของช่องสัญญาณ ที่จำเป็นต้องใช้ในการส่งข้อมูลนั้น ในรูปของรหัสฐานสองได้ โดยถ้าลอการิทึมในสมการข้างต้น เป็นฐานสอง เอนโทรปีที่วัดจะอยู่ในหน่วยบิตเช่นกัน แต่ถ้าเป็น ลอการิทึมฐานธรรมชาติ หรือ ฐาน e {\displaystyle e} เอนโทรปีที่วัดจะอยู่ในหน่วย แนท (nats) [1] การวัดเอนโทรปีของแชนนอน เป็นการวัดขนาดของสารสนเทศซึ่งอยู่ในข้อความ

เมื่อไม่นานมานี้ ได้ปรากฏหลักฐานว่า เอนโทรปี นั้นได้ถูกค้นพบและนิยามในช่วงสงครามโลกครั้งที่สอง โดยแอลัน ทัวริง ที่ เบล็ทชลีย์ พาร์ค (Bletchley Park) ทัวริง ได้ตั้งชื่อปริมาณนี้ว่าน้ำหนักของหลักฐาน (weight of evidence) และใช้หน่วยวัดเป็น bans และ decibans (อย่าสับสนคำ "weight of evidence" นี้กับคำเดียวกันที่ใช้ในบทความทางด้านการอนุมานทางสถิติ หรือ statistical inference บัญญัติขึ้นโดย กู๊ด (I.J. Good) ซึ่งมีความหมายตรงกับคำที่ทัวริงใช้คือ "log-odds" หรือ "lods") ถึงแม้ว่า ทัวริง และ แชนนอน นั้นได้ทำงานร่วมกันในช่วงสงครามแต่ดูเหมือนว่าทั้งคู่นั้นต่างคนต่างพัฒนาแนวความคิดนี้ขึ้นมาด้วยตนเอง (สำหรับเอกสารอ้างอิงดู Alan Turing: The Enigma โดย แอนดรูว์ ฮอดจส์ Andrew Hodges)