„Shannon-entrópiafüggvény” változatai közötti eltérés

A fenti definíció azért bírálható, mert az információ értéke nem függ attól, hogy az egyes elemeket milyen valószínűséggel kívánjuk kiválasztani. Shannon vezetett be egy konkrét problémából, egy hírközlési csatorna kapacitásának definíciójának szükségességéből kiindulva egy olyan információdefiníciót, amely a fenti problémára tekintettel van („''The„The Mathematical Theory of CommunicationCommunication”''” c. cikkeiben, mely a ''Bell System Technical Journal'' c. lapban jelent meg [[1948]] júliusában és októberében). [[Neumann János]] javaslatára nevezte el saját információmérő függvényét '''entrópia'''függvénynek, noha az elnevezés nemcsak a fizikai entrópiával kapcsolatos sok hasonlóságra mutat rá, de attól való különbségei miatt rengeteg kritika is érte (az ilyenek egy lehetséges motivációjáról és alternatív definícióról ld. pl. T. Stonier: ''Információ és az Univerzum belső szerkezete'').

* Csiszár Imre – Fritz József: ''Információelmélet.''. [[ELTE]] jegyzet. Nemzeti Tankönyvkiadó, Bp., 1995.

* Csiszár Villő: ''[[Információelmélet]].''. Előadássorozat, ELTE, [[2003]].

* [[Claude Shannon]]: „''The„The Mathematical Theory of CommunicationCommunication”;''”; Bell System Technical Journal, [[1948]] júl.-okt.