„Shannon-entrópiafüggvény” változatai közötti eltérés
| [nem ellenőrzött változat] | [nem ellenőrzött változat] |
Tartalom törölve Tartalom hozzáadva
2 helyen "x" index volt ahol "j" indexnek kellett volna lennie. |
a kozmetikai javítások |
||
3. sor:
A '''Shannon-féle entrópiafüggvény'''t [[Claude Shannon]] amerikai [[matematikus]] és [[híradástechnika]]i szakember vezette be a negyvenes évek legvégén az [[információ]] nevű fogalom [[fizikai mennyiség]]gé és [[mérés|mérhetővé]] tételére (bár már Shannon előtt is próbálkoztak ezzel, ld. [[#Történet|lentebb]]). Ma e fogalom és tanulmányozása az [[információelmélet]] egyik alapja.
E [[függvény (matematika)|függvény]] definiáláshoz feltételezzük, hogy egy [[kommunikáció]]s folyamatban veszünk részt, melynek csatornáján az X halmaz jeleiből összetevődő véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni (vagy pedig becsülni) tudjuk azt a p(x) valószínűséget, hogy adott
<center> <u>[[vektor|x]]</u> = (x<sub>1</sub>,x<sub>2</sub>,...,x<sub>j</sub>)
jelek [[Sorozat (matematika)|sorozata]]. Ekkor az üzenet információtartalma Shannon definíciója szerint
<center> H(
= p(x<sub>1</sub>)log<sub>2</sub>p(x<sub>1</sub>)<sup>-1</sup> + p(x<sub>2</sub>)log<sub>2</sub>p(x<sub>2</sub>)<sup>-1</sup> + ... + p(x<sub>j</sub>)log<sub>2</sub>p(x<sub>j</sub>)<sup>-1</sup> . </center>
Tehát az
== A Shannon-képlet intuitív levezetése ==
66. sor:
== Hivatkozások ==
=== Források ===
* Csiszár Imre – Fritz József: ''Információelmélet.'' [[ELTE]] jegyzet. Nemzeti Tankönyvkiadó, Bp., 1995.
| |||