Wikipédia

„Shannon-entrópiafüggvény” változatai közötti eltérés

Laptörténet interaktív böngészése
[nem ellenőrzött változat][nem ellenőrzött változat]
← Régebbi szerkesztésÚjabb szerkesztés →
Tartalom törölve Tartalom hozzáadva
VizuálisWikiszöveges
SamatBot (vitalap | szerkesztései)
botok
247 461 szerkesztés
a kozmetikai javítások
Peti610bot (vitalap | szerkesztései)
51 382 szerkesztés
Bot:, Replaced: ... → … (22)
4. sor:
 
E [[függvény (matematika)|függvény]] definiáláshoz feltételezzük, hogy egy [[kommunikáció]]s folyamatban veszünk részt, melynek csatornáján az X halmaz jeleiből összetevődő véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni (vagy pedig becsülni) tudjuk azt a p(x) valószínűséget, hogy adott x∈X elem milyen gyakran fordul elő (várhatóan) egy üzenetben, továbbá, hogy valahogy mérhető vagy meghatározható az x jel információtartalma is, amit I(x) jelöljön. Legyen egy üzenet az
<center> <u>[[vektor|x]]</u> = (x<sub>1</sub>,x<sub>2</sub>,...…,x<sub>j</sub>)∈[[direkt hatvány|X<sup>j</sup>]] </center>
jelek [[Sorozat (matematika)|sorozata]]. Ekkor az üzenet információtartalma Shannon definíciója szerint
<center> H('''x''') &nbsp; = &nbsp; H(x<sub>1</sub>,x<sub>2</sub>,...…,x<sub>j</sub>) = <br> = p(x<sub>1</sub>)I(x<sub>1</sub>)+p(x<sub>2</sub>)I(x<sub>2</sub>)+...…+p(x<sub>j</sub>)I(x<sub>j</sub>) &nbsp;= <br>
= p(x<sub>1</sub>)log<sub>2</sub>p(x<sub>1</sub>)<sup>-1</sup> + p(x<sub>2</sub>)log<sub>2</sub>p(x<sub>2</sub>)<sup>-1</sup> + ...… + p(x<sub>j</sub>)log<sub>2</sub>p(x<sub>j</sub>)<sup>-1</sup> . </center>
 
Tehát az '''x''' üzenet információtartalma jelei I('''x''') := p('''x''')log<sub>2</sub>[p('''x''')<sup>-1</sup>] „egyedi információtartalmának” várható értéke.
14. sor:
 
Shannon egy [[véges halmaz|véges sok]] [[jel (informatika)|jelből]] álló (véges ábécé feletti) üzenet információértékét az üzenet jeleinek mint a jelre jellemző [[valószínűség]]gel bekövetkező események információtartalmának „átlagos”, azaz [[várható érték]]eként határozta meg:
<center> <math> H \left( x_{1}, x_{2} , ...… , x_{j} \right) = \sum_{i=1}^{j} p \left( x_{i} \right) I \left( x_{i} \right) </math> . </center>
Ez még nem elégséges a definícióhoz, pontosan azért, mert az I(x) „adott jelhez tartozó információtartalom” mennyiséget nem definiáltuk. Ennek definiálásához Shannon további két feltételezéssel élt:
# Kisebb valószínűségű üzenetnek (és így jelnek) az informácótartalma nagyobb. Hiszen ha olyan eseményről szerzünk tudomást, amely átlagos, gyakori, azaz nagy valószínűségű; annak nincs nagy jelentősége; ellenben ritkább eseményre kevésbé vagyunk felkészülve, tehát ha ilyen következik be, az fontosabb.
21. sor:
 
Matematikailag bebizonyítható, hogy a következő képlet adja meg, ha a fenti normális(?) feltételezésekkel élünk:
<center> <math> H \left( \underline{X} \right) </math> <math> = </math> <math> H \left( x_{1} , x_{2} , ...… , x_{n} \right) </math> <math> := </math> <math> \sum_{i=1}^{n} p(x_{i}) \log _{2} \frac{1}{ p \left( x_{i} \right) } </math> </center>
 
A fenti H függvény néhány jellemzője:
49. sor:
{| align=center border=1 cellspacing=0
|-
|| &nbsp;1.&nbsp; || <math> \forall i \in \left\{ 1,2,...…,n \right\}: \ H(a_{1},...…,a_{i-1},\bold{x}_{i},a_{i+1}) \in C[-\infty,+\infty] </math>
|-
|| &nbsp;2.&nbsp; || <math> \forall i,j \in \left\{ 1,2,...…,n \right\}: \ i \le j \Rightarrow </math> <br> <math> \Rightarrow \ H(x_{1},...…,x_{i-1},x_{i},x_{i+1},...…,x_{j-1},x_{j},x_{j+1},...…,x_{n}) = H(x_{1},...…,x_{i-1},x_{j},x_{i+1},...…,x_{j-1},x_{i},x_{j+1},...…,x_{n}) </math>
|-
|| &nbsp;3.&nbsp; || <math> \max \left\{ H(\underline{x}) \ | \ \underline{x} \in \mathbb{R}^{n} \right\} = H\left(\frac{1}{n},\frac{1}{n},...…,\frac{1}{n}\right) </math>
|-
|| &nbsp;4.&nbsp; || <math> H\left(x_{1},...…,x_{n},0) = H(x_{1},...…,x_{n}\right) </math>
|-
|| &nbsp;5.&nbsp; || <math> x_{n} = \sum_{k=1}^{m}y_{k} \Rightarrow H(x_{1},...…,x_{n-1},y_{1},...…,y_{m}) = H(x_{1},...…,x_{n-1})+p(x_{n})H(y_{1},...…,y_{m}) </math>
|-
|| &nbsp;6.&nbsp; || <math> H \left( \frac{1}{2} , \frac{1}{2} \right) = 1 </math>
A lap eredeti címe: „https://hu.wikipedia.org/wiki/Shannon-entrópiafüggvény”