เอนโทรปีของสารสนเทศ ที่พัฒนาต่อมาจากแนวความคิดดั้งเดิมของ แชนนอน นั้นมีความสัมพันธ์อย่างใกล้ชิดกับ เอนโทรปี ของ อุณหพลศาสตร์

ลุดวิก โบลทซ์แมน (Ludwig Boltzmann และ วิลลาร์ด กิบส์ (Willard Gibbs) นั้นมีส่วนสำคัญในการพัฒนาทางด้าน อุณหพลศาสตร์เชิงสถิติ (statistical thermodynamics) งานของเขานั้นเกิดจากความพยายามในการที่จะนำคำ เอนโทรปี จาก ทฤษฎีสารสนเทศมาใช้ เอนโทรปี จากแนวความคิดของ ทฤษฎีสารสนเทศ และ แนวความคิดของ อุณหพลศาสตร์เชิงสถิติ นี้มีความสัมพันธ์กันที่ลึกซึ้ง ตัวอย่างหนึ่งที่ใช้แสดงความสัมพันธ์ระหว่าง สารสนเทศ และ เอนโทรปีของอุณหพลศาสตร์ คือ ปีศาจของแมกซ์เวลล์ (Maxwell's demon) ซึ่งเป็นปิศาจเฝ้าตูดควบคุมการเลือกผ่านของโมเลกุล เพื่อสร้างการไหลของพลังงานสวนทางกับเอนโทรปีของอุณหพลศาสตร์ ในการแหกกฎข้อที่สองของอุณหพลศาสตร์ แต่ในขณะเดียวกัน ในการคุมตูดนั้นปีศาจก็ต้องการข้อมูล ที่แม่นยำ ซึ่งทั้งสองนี้หักล้างกันไปทำให้ปิศาจไม่สามารถสร้างความได้เปรียบทางอุณหพลศาสตร์สวนกฎข้อที่สองได้

ปริมาณที่ใช้วัดข้อมูลที่มีประโยชน์ อีกปริมาณหนึ่งก็คือ สารสนเทศร่วม (mutual information) ซึ่งเป็นปริมาณที่บ่งบอกถึงความขึ้นแก่กันทางสถิติของตัวแปรสุ่มสองตัว นิยามของสารสนเทศที่เกิดร่วมกันของเหตุการณ์ X {\displaystyle X} และ Y {\displaystyle Y} คือ

I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) = H ( X ) − H ( X | Y ) = H ( Y ) − H ( Y | X ) {\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)\,}

โดยที่ H ( X , Y ) {\displaystyle H(X,Y)} คือ เอนโทรปีร่วม นิยามโดย

H ( X , Y ) = − ∑ x , y p ( x , y ) log ⁡ p ( x , y ) {\displaystyle H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y)\,}

และ H ( X | Y ) {\displaystyle H(X|Y)} คือ เอนโทรปีตามเงื่อนไข (conditional entropy) ของ X {\displaystyle X} มีเงื่อนไขขึ้นกับค่าสังเกตการณ์ของ Y {\displaystyle Y} ดังนั้น สารสนเทศร่วม สามารถตีความ หมายถึง ปริมาณของความไม่แน่นอนของค่า X {\displaystyle X} ที่ลดลงเมื่อรู้ค่าที่แน่นอนของ Y {\displaystyle Y} และในทางกลับกัน