Jensen-egyenlőtlenség

A Jensen-egyenlőtlenség elegáns közös kiterjesztését adja számos matematikai egyenlőtlenségnek.

Ha egy véges vagy végtelen $I$ intervallumon az $f$ függvény konvex, $a_{1},\dots ,a_{n}\in I$, valamint $p_{1},\dots ,p_{n}$ nem negatív számok, amelyekre teljesül a $p_{1}+\cdots +p_{n}=1$ összefüggés, akkor

$f(p_{1}a_{1}+\cdots +p_{n}a_{n})\leq p_{1}f(a_{1})+\cdots +p_{n}f(a_{n})$.

Ha f szigorúan konvex, akkor egyenlőség csakis az $a_{1}=a_{2}=\dots =a_{n}$ esetben teljesül.

Ha f konkáv, akkor az állítás fordított irányú egyenlőtlenséggel teljesül, azaz:

$$f(p_{1}a_{1}+\cdots +p_{n}a_{n})\geq p_{1}f(a_{1})+\cdots +p_{n}f(a_{n}).$$

Például az $f(x)=x^{2}$ függvény szigorúan konvex a valós számok halmazán, így ha $a_{1},\dots ,a_{n}$ tetszőleges, $p_{1}=\cdots =p_{n}={\frac {1}{n}}$, akkor$\left({\frac {a_{1}+\cdots +a_{n}}{n}}\right)^{2}\leq {\frac {a_{1}^{2}+\cdots +a_{n}^{2}}{n}}$,

ami éppen a számtani és négyzetes közép közötti egyenlőtlenség. Egyenlőség akkor és csak akkor áll fenn, ha $a_{1}=\cdots =a_{n}.$

Hasonlóképpen a konkáv x $\mapsto$ log x függvényt használva azt kapjuk, hogy bármely pozitív $a_{1},\dots ,a_{n}$ számokra

$\log \left({\frac {a_{1}+\cdots +a_{n}}{n}}\right)\geq {\frac {\log a_{1}+\cdots +\log a_{n}}{n}}$.

Mivel a jobb oldal ${\sqrt[{n}]{a_{1}\cdots a_{n}}}$ logaritmusa, a számtani és mértani közép közötti egyenlőtlenséget kapjuk.

Jensen egyenlőtlensége

A matematikában Jensen egyenlőtlensége, amit a dán matematikusról, Johan Jensenről, neveztek el, összefüggésbe hozza egy konvex függvény értékét a konvex függvény integráljával. Ezt 1906-ban bizonyította Jensen. Az általánosságára tekintettel az egyenlőtlenség megjelenik sok alakban, ami a kontextustól függ (és amiknek egy része az alábbiakban kerül bemutatásra).

Az egyenlet véges képlete volt a logója a Matematikai Tudományok Intézetének a Koppenhágai Egyetemen 2006-ig.

Állítások

Jensen egyenlőtlenségének klasszikus képlete magába foglal különféle számokat és súlyokat. Az egyenlőtlenséget ki lehet fejezni eléggé általánosságban használva a mértékelméletet vagy egyenértékű valószínűségszerű jelölést. Ebben a valószínűség szerinti felállításban az egyenlőtlenséget tovább lehet általánosítani a teljes érvényességéig.

A véges képlet

Ha egy φ függvény konvex egy $I\subseteq \mathbb {R}$ valós intervallumon, ahol $x_{i}$-k ezen intervallum elemei és $a_{i}$-k a súlyok, Jensen egyenlőtlenségét ki lehet fejezni a következő formában:

$\varphi \left({\frac {\sum a_{i}x_{i}}{\sum a_{i}}}\right)\leq {\frac {\sum a_{i}\varphi (x_{i})}{\sum a_{i}}}$.

Az egyenlőtlenség iránya nyilvánvalóan fordított, ha φ konkáv.

Konkrét eset, ha a súlyok mind egyenlőek 1-gyel, akkor:

$\varphi \left({\frac {\sum x_{i}}{n}}\right)\leq {\frac {\sum \varphi (x_{i})}{n}}$.

Konkáv log(x) függvény (megjegyzés: használhatjuk Jensen egyenlőtlenséget a függvény konvexitásának vagy konkávitásának bizonyítására, valós intervallumon.) Behelyettesítve $\scriptstyle \varphi (x)=-\log(x)$-et az előző képletbe, a számtani és mértani közép közötti egyenlőtlenséget kapjuk:

${\frac {x_{1}+x_{2}+\cdots +x_{n}}{n}}\geq {\sqrt[{n}]{x_{1}x_{2}\cdots x_{n}}}$.

Ha a változó x egy másik t változó függvénye x_i = g(t_i). Általánosan a következőt kapjuk: a_i–ket felváltja egy nem negatív integrálható f(x)függvény, mint például egy valószínűségi eloszlás, a szummákat pedig integrálok.

Az elméleti mértéktér és a valószínűség szerinti képlet

Legyen (Ω,A,μ) egy mértéktér μ(Ω) = 1. Ha g egy valós értékű függvény, ami μ szerint integrált φ pedig egy mérhető konvex függvény, akkor:

$\varphi \left(\int _{\Omega }g\,d\mu \right)\leq \int _{\Omega }\varphi \circ g\,d\mu .$

Valószínűségelméletben legyen $\scriptstyle (\Omega ,{\mathfrak {F}},\mathbb {P} )$ egy valószínűségtér , X egy integrált valós értékű változó és φ egy mérhető konvex függvény. Akkor:

$\varphi \left(\mathbb {E} \{X\}\right)\leq \mathbb {E} \{\varphi (X)\}.$

Ekkor a valószínűségelméletben, a mértéknek (μ) megfeleltethető egy valószínűség $\scriptstyle \mathbb {P}$ , μ-nek egy várható érték $\scriptstyle \mathbb {E}$ , és g a függvénynek egy véletlen változó X.

Általánosan az egyenlőtlenség egy valószínűség szerint

Általánosan legyen T egy valós vektortér, X egy T értékű integrálható véletlen változó. Az integrálhatóság azt jelenti, hogy bármely T elem számára T: $\scriptstyle \mathbb {E} |\langle z,X\rangle |\,<\,\infty$ , z eleme T létezik egy $\scriptstyle \mathbb {E} \{X\}$ T elem, úgy hogy $\scriptstyle \langle z,\mathbb {E} \{X\}\rangle \,=\,\mathbb {E} \{\langle z,X\rangle \}$ . Ekkor minden mérhető konvex φ függvényre és minden σ-algebra-rára $\scriptstyle {\mathfrak {G}}$$\scriptstyle {\mathfrak {F}}$:

$\varphi \left(\mathbb {E} \{X|{\mathfrak {G}}\}\right)\leq \mathbb {E} \{\varphi (X)|{\mathfrak {G}}\}.$

Ez a kijelentés általánosítja az előzőt, amikor a T vektortér a tengely és $\scriptstyle {\mathfrak {G}}$ a triviális σ-algebra $\scriptstyle \{\varnothing ,\Omega \}$.

Bizonyítások

A Jensen-egyenlőtlenség grafikus bizonyítása egy lehetséges esetben. A szaggatott görbe az X tengely mentén X feltételezett eloszlása, míg a szaggatott görbe az Y tengely mentén a megfelelő eloszlású Y értékek. Vegyük észre, hogy X egyre növekedő értékei mellett Y(X) egyre jobban növeli az eloszlást.

Jensen egyenlőtlenségének bizonyítása különféle módon történhet, és három különböző fent említett, különböző állításoknak megfelelő bizonyítás ajánlott. Ám mielőtt megkezdenénk ezeket a matematikai bizonyításokat, érdemes elemezni a grafikus bizonyítást a valószínűség szerinti eset alapján, ahol X egy valós szám, (lásd az ábrát). Elfogadva az X értékeknek egy feltételezett eloszlását, azonnal azonosíthatjuk az $\scriptstyle \mathbb {E} \{X\}$ és a képe $\scriptstyle \varphi (\mathbb {E} \{X\})$ értéket a grafikonon. Észrevehetjük $\scriptstyle Y\,=\,\varphi (X)$ a megfelelő értékek eloszlása egyre inkább nő az X növekedő értékeik mellett, és az Y eloszlása szélesebb, az X > X₀ intervallumban, és keskenyebb X <X₀ intervallumban bármilyen X₀ számára; különösen igaz ez $\scriptstyle X_{0}\,=\,\mathbb {E} \{X\}$ esetére. Következésképpen beláttuk, hogy Y mindig el fog mozdulni felfelé, tekintettel $\scriptstyle \varphi (\mathbb {E} \{X\})$ pozíciójára. Ezzel bebizonyítottuk az egyenlőtlenséget, azaz:

$\mathbb {E} \{Y(X)\}\geq Y(\mathbb {E} \{X\}),$

Egyenlőség akkor áll fenn, amikor $\scriptstyle \varphi (X)$ nem szigorúan konvex, például amikor ez egy egyenes. A bizonyításokat ez az intuitív elképzelés a következőkben fogalmazza meg:

1. bizonyítás (véges képlet)

Ha λ₁ és λ₂ két tetszőleges pozitív valós számok, melyekre λ₁ + λ₂ = 1, akkor $\scriptstyle \varphi$ konvexitása miatt:

$\varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2})\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2}){\text{ minden }}x_{1},\,x_{2}.$ -re.

Általánosan: ha λ₁ , λ₂ , …, λ_n pozitív valós számok, melyekre λ₁ + … + λ_n = 1, akkor

$\varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2}+\cdots +\lambda _{n}x_{n})\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2})+\cdots +\lambda _{n}\,\varphi (x_{n}),$

bármennyi x₁ , …, x_n számára. A Jensen-egyenlőtlenségnek ezt a véges képletét teljes indukcióval bizonyíthatjuk be. Ha n = 2 az állítás igaz. Tegyük fel, hogy n-re igaz az állítás, és bizonyítsuk n + 1-re. Ha legalább egy λ_i λ>0 például λ> 1 ; akkor konvexitás miatt:

$\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)=\varphi \left(\lambda _{1}x_{1}+(1-\lambda _{1})\sum _{i=2}^{n+1}{\frac {\lambda _{i}}{1-\lambda _{1}}}x_{i}\right)\leq \lambda _{1}\,\varphi (x_{1})+(1-\lambda _{1})\varphi \left(\sum _{i=2}^{n+1}\left({\frac {\lambda _{i}}{1-\lambda _{1}}}x_{i}\right)\right).$

Mivel $\scriptstyle \sum _{i=2}^{n+1}\lambda _{i}/(1-\lambda _{1})\,=\,1$ , felhasználva feltevésünket a képlet utolsó kifejezésében megkapjuk az eredményt, név szerint a Jensen-féle véges képletű egyenlőtlenséget.

Azért, hogy megkapjuk az általános egyenlőtlenséget ebből a véges képletből, használjunk egy sűrűségérvet. A véges képletet újra fel lehet írni úgy, mint:

$\varphi \left(\int x\,d\mu _{n}(x)\right)\leq \int \varphi (x)\,d\mu _{n}(x),$

ahol μ_n egy mérték, amit a Dirac-delták egy tetszőleges kombinációja ad:

$\mu _{n}=\sum _{i=1}^{n}\lambda _{i}\delta _{x_{i}}.$

Mivel a konvex függvények folytonosak, és mivel a Dirac-delták kombinációi gyengén sűrűek az általános állítást egyszerűen megkapjuk.

2. bizonyítás (elméleti-határ képlet)

Legyen g egy valós értékű μ-integrálható függvény egy Ω mértéktérben, és legyen φ, egy konvex függvény a valós számok halmazán. Határozzuk meg φ jobb oldali deriváltját:

$\varphi ^{\prime }(x):=\lim _{t\to 0^{+}}{\frac {\varphi (x+t)-\varphi (x)}{t}}.$

Mivel φ konvex, a jobb oldali hányados ahogy a t közelíti a 0-t jobbról, egyre csökken és alulról korlátos.

${\frac {\varphi (x+t)-\varphi (x)}{t}}$

Ha t < 0, a határértéke mindig létezik.

Legyen:

$x_{0}:=\int _{\Omega }g\,d\mu ,$

$a:=\varphi ^{\prime }(x_{0}),$

$b:=\varphi (x_{0})-x_{0}\varphi ^{\prime }(x_{0}).$

Akkor minden x -re ax + b ≤ φ(x). Ha x > x₀ , és t = x − x₀ > 0. Akkor,

$\varphi ^{\prime }(x_{0})\leq {\frac {\varphi (x_{0}+t)-\varphi (x_{0})}{t}}.$

Tehát,

$\varphi ^{\prime }(x_{0})(x-x_{0})+\varphi (x_{0})\leq \varphi (x)$

ahogyan azt bizonyítani akartuk. x < x₀ esetében hasonlóan bizonyíthatjuk. Ha ax + b = φ(x₀).

φ(x 0 ) akkor átírhatjuk a képletet

$ax_{0}+b=a\left(\int _{\Omega }g\,d\mu \right)+b.$ - alakúra.

De mivel μ(Ω) = 1, tehát minden valós k számra

$\int _{\Omega }k\,d\mu =k.$

Így:

$a\left(\int _{\Omega }g\,d\mu \right)+b=\int _{\Omega }(ag+b)\,d\mu \leq \int _{\Omega }\varphi \circ g\,d\mu .$

3. Bizonyítás (általános egyenlőtlenség egy valószínűség szerint)

Legyen X egy integrálható valószínűségi változó, az értéket egy valós T vektortérből veszi. Mivel $\scriptstyle \varphi :T\mapsto \mathbb {R}$ konvex, minden $x,y\in T$-re

${\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }},$

ahogy θ megközelíti a 0⁺ -t, ez az érték csökken. φ deriváltja X szerint az Y irányába:

$(D\varphi )(x)\cdot y:=\lim _{\theta \downarrow 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}=\inf _{\theta \neq 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}.$

Látható, a differenciál lineáris y-ban van és mivel korábban beláttuk, hogy a jobb oldal infimuma kisebb mint az értéke a θ = 1 –nél.

$\varphi (x)\leq \varphi (x+y)-(D\varphi )(x)\cdot y.\,$

Egy tetszőleges sub-σ-algebrára $\scriptstyle {\mathfrak {G}}$ az utolsó egyenlőtlenség szerint, ha $\scriptstyle x\,=\,\mathbb {E} \{X|{\mathfrak {G}}\},\,y=X-\mathbb {E} \{X|{\mathfrak {G}}\}$ fennáll, akkor

$\varphi (\mathbb {E} \{X|{\mathfrak {G}}\})\leq \varphi (X)-(D\varphi )(\mathbb {E} \{X|{\mathfrak {G}}\})\cdot (X-\mathbb {E} \{X|{\mathfrak {G}}\}).$

Ebből következve megkapjuk az eredményt, mivel:

$\mathbb {E} \{\left[(D\varphi )(\mathbb {E} \{X|{\mathfrak {G}}\})\cdot (X-\mathbb {E} \{X|{\mathfrak {G}}\})\right]|{\mathfrak {G}}\}=(D\varphi )(\mathbb {E} \{X|{\mathfrak {G}}\})\cdot \mathbb {E} \{\left(X-\mathbb {E} \{X|{\mathfrak {G}}\}\right)|{\mathfrak {G}}\}=0,$

Alkalmazások és speciális esetek

Képlet, amely magában foglal egy valószínűség szerinti sűrűség függvényt

Tételezzük fel, hogy Ω egy valós sorozat mérhető alhalmaza és f(x) egy nem negatív függvény, melyre:

$\int _{-\infty }^{\infty }f(x)\,dx=1.$

Probabilisztikus nyelvben, f egy valószínűségi sűrűség-függvény.

Jensen egyenlőtlensége a következő állítássá válik:

Bármilyen g valós értékű függvény és φ konvex a g tartománya fölött, akkor

$\varphi \left(\int _{-\infty }^{\infty }g(x)f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (g(x))f(x)\,dx.$

Ha g(x) = x, akkor az egyenlőtlenségnek ez a formája redukálódik egy általában használt speciális esetre:

$\varphi \left(\int _{-\infty }^{\infty }x\,f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (x)\,f(x)\,dx.$

Alternatív véges képlet

Ha Ω véges halmaz $\{x_{1},x_{2},\ldots ,x_{n}\}$ , és ha μ egy megszámlálható mérték az Ω-án, akkor az általános alak redukálódik egy összegekről szóló állításra:

$\varphi \left(\sum _{i=1}^{n}g(x_{i})\lambda _{i}\right)\leq \sum _{i=1}^{n}\varphi (g(x_{i}))\lambda _{i},$

feltéve ha $\lambda _{1}+\lambda _{2}+\cdots +\lambda _{n}=1,\lambda _{i}\geq 0.$

Van egy képlet Ω –re is.

Statisztikus fizika

Jensen egyenlőtlensége a statisztikai fizikában különös fontosságú akkor, amikor a konvex függvény exponenciális. Adva van:

$e^{\langle X\rangle }\leq \left\langle e^{X}\right\rangle ,$

ahol a zárójel a várható értékekre utal tekintettel néhány valószínűségi eloszlásra a véletlenszerű X változóban.

A bizonyítás ebben az esetben nagyon egyszerű (cf. Chandler, Sec. 5.5). A következő egyenlőtlenséget alkalmazva:

$\left\langle e^{X}\right\rangle =e^{\langle X\rangle }\left\langle e^{X-\langle X\rangle }\right\rangle$

Kapjuk a végső exponenciális egyenlőtlenséget:

$e^{X}\geq 1+X\,$

Információelmélet

Ha p(x) x valószínűségi változó valódi eloszlás, és q(x) másik eloszlás, akkor Jensen egyenlőtlenségét alkalmazva Y(x) = q(x)/p(x)-re a véletlen változóra, a függvény legyen φ(y) = −log(y) így a Gibbs-egyenlőtlenséget kapjuk.

$\mathbb {E} \{\varphi (Y)\}\geq \varphi (\mathbb {E} \{Y\})$

$\Rightarrow \int p(x)\log {\frac {p(x)}{q(x)}}dx\geq -\log \int p(x){\frac {q(x)}{p(x)}}dx$

$\Rightarrow \int p(x)\log {\frac {p(x)}{q(x)}}dx\geq 0$

$\Rightarrow -\int p(x)\log q(x)\geq -\int p(x)\log p(x),$

Ez megmutatja, hogy az átlagos üzenethossz minimalizált, amikor kódokat jelölnek ki valódi valószínűségek alapján. Az a nemnegatív mennyiség, (q-nak távolsága p-től) a Kullback–Leibler-távolság.

Rao–Blackwell-tétel

Ha L egy konvex függvény, akkor Jensen egyenlőtlenségéből, megkapjuk, hogy:

$L(\mathbb {E} \{\delta (X)\})\leq \mathbb {E} \{L(\delta (X))\}\quad \Rightarrow \quad \mathbb {E} \{L(\mathbb {E} \{\delta (X)\})\}\leq \mathbb {E} \{L(\delta (X))\}.$

Tehát ha δ(X) torzítatlan becslés θ paraméterre T(X) egy elégséges statisztika θ-ra, egy kisebb várt veszteség birtokában L, számolás útján elérhető. Megadható olyan L becslés, mely hatásosabb mint δ(X).

$\delta _{1}(X)=\mathbb {E} _{\theta }\{\delta (X')\,|\,T(X')=T(X)\},$

torzítatlan θ-ra, és X függvénye.

Ezt az eredményt a Rao–Blackwell-tételként ismerik.

Kapcsolódó szócikkek

• Az átlagok törvénye

Források

• Walter Rudin (1987): Valós és komplext elemzés. McGraw-Hill. ISBN 0-07-054234-1
• David Chandler (1987): Bevezetés a modern statisztikus mechanikába. Oxford. ISBN 0-19-504277-8
• Jensen, Johan Ludwig William Valdemar (1906): "Sur les fonctions* convexes* et les inégalités* entre* les valeurs* moyennes*". Acta Mathematica 30: 175-193

További információk

• Eric W Weisstein: Jensen egyenlőtlenség - A matematika világa
• Jensen egyenlőtlensége logóként szolgált a Koppenhágai Egyetem Matematikai Szakosztálya számára.