A kovariancia a valószínűségszámítás és a statisztika tárgykörébe tartozó mennyiség , ami megadja két egymástól különböző változó együttmozgását. Kis értékei gyenge, nagy értékei erős lineáris összefüggésre utalnak. Nem normált; normálással a korrelációt kapjuk.
Létezésének szükséges feltétele, hogy létezzen mindkét véletlen valószínűségi változó , továbbá szorzatuk várható értéke. Ez biztosan teljesül, ha
X
{\displaystyle X}
és
Y
{\displaystyle Y}
négyzetesen integrálható, azaz
E
(
|
X
|
2
)
<
∞
{\displaystyle \operatorname {E} (|X|^{2})<\infty }
és
E
(
|
Y
|
2
)
<
∞
{\displaystyle \operatorname {E} (|Y|^{2})<\infty }
.
Értéke
Cov
(
X
,
Y
)
=
E
(
(
X
−
E
(
X
)
)
(
Y
−
E
(
Y
)
)
)
{\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} \left(\left(X-\operatorname {E} (X)\right)\left(Y-\operatorname {E} (Y)\right)\right)}
, ahol E az úgynevezett várhatóérték -operátor .
Folytonos és diszkrét valószínűségi változók kovarianciája:
Cov
(
X
,
Y
)
=
{
∑
i
=
1
n
∑
j
=
1
n
f
(
x
i
,
y
j
)
(
x
i
−
E
(
X
)
)
(
y
j
−
E
(
Y
)
)
ha X és Y diszkrét
∫
−
∞
+
∞
∫
−
∞
+
∞
f
(
x
,
y
)
(
x
−
E
(
X
)
)
(
y
−
E
(
Y
)
)
d
x
d
y
ha X és Y folytonos
{\displaystyle \operatorname {Cov} (X,Y)={\begin{cases}\sum _{i=1}^{n}\sum _{j=1}^{n}f(x_{i},y_{j})(x_{i}-\operatorname {E} (X))(y_{j}-\operatorname {E} (Y))&{\text{ha X és Y diszkrét}}\\\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }f(x,y)(x-\operatorname {E} (X))(y-\operatorname {E} (Y))\mathrm {d} x\mathrm {d} y&{\text{ha X és Y folytonos}}\end{cases}}}
.
Az n elemű
x
és
y
{\displaystyle \mathbf {x} {\text{ és }}\mathbf {y} }
statisztikai minta tapasztalati (empirikus) kovarianciáját az alábbi képlettel adjuk meg:
∑
i
=
1
n
(
x
i
−
x
¯
)
(
y
i
−
y
¯
)
n
−
1
{\displaystyle {\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}{n-1}}}
, ahol
x
i
{\displaystyle x_{i}}
az
x
{\displaystyle {\textbf {x}}}
,
y
i
{\displaystyle y_{i}}
az
y
{\displaystyle {\textbf {y}}}
minta
i
{\displaystyle i}
. eleme,
x
¯
{\displaystyle {\bar {x}}}
és
y
¯
{\displaystyle {\bar {y}}}
pedig az
x
{\displaystyle \mathbf {x} }
és az
y
{\displaystyle \mathbf {y} }
minták mintaátlagai. (Ugyanez a képlet átalakítható az
1
n
−
1
∑
i
=
1
n
x
i
y
i
−
n
n
−
1
x
¯
y
¯
{\displaystyle {\frac {1}{n-1}}\sum _{i=1}^{n}{x_{i}y_{i}}-{\frac {n}{n-1}}{\bar {x}}{\bar {y}}}
formára)
Legyen
X
=
(
X
1
,
X
2
)
{\displaystyle X=(X_{1},X_{2})}
kétdimenziós normális eloszlású , és
P
(
X
1
,
X
2
)
=
N
(
μ
,
Σ
)
{\displaystyle P_{(X_{1},X_{2})}={\mathcal {N}}(\mu ,\Sigma )}
a
Σ
{\displaystyle \Sigma }
kovarianciamátrixszal :
Σ
=
(
σ
1
2
c
c
σ
2
2
)
,
{\displaystyle \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&c\\c&\sigma _{2}^{2}\end{pmatrix}},}
ekkor a kovariancia:
Cov
(
X
1
,
X
2
)
=
c
.
{\displaystyle \operatorname {Cov} (X_{1},X_{2})=c.}
Legyen
X
=
(
X
1
,
X
2
)
{\displaystyle X=(X_{1},X_{2})}
kétdimenziós multinomiális eloszlású (
P
X
=
M
(
n
,
(
p
1
,
p
2
)
)
{\displaystyle P_{X}=M(n,(p_{1},p_{2}))}
), így:
Cov
(
X
1
,
X
2
)
=
E
(
X
1
X
2
)
−
E
(
X
1
)
E
(
X
2
)
=
n
(
n
−
1
)
p
1
p
2
−
n
p
1
n
p
2
=
−
n
p
1
p
2
.
{\displaystyle \operatorname {Cov} (X_{1},X_{2})=\operatorname {E} (X_{1}X_{2})-\operatorname {E} (X_{1})\operatorname {E} (X_{2})=n(n-1)p_{1}p_{2}-np_{1}np_{2}=-np_{1}p_{2}.}
A kovariancia pozitív, ha
X
{\displaystyle X}
és
Y
{\displaystyle Y}
között pozitív az összefüggés, ha
X
{\displaystyle X}
nagy, akkor
Y
{\displaystyle Y}
is nagy, és ha
X
{\displaystyle X}
kicsi, akkor
Y
{\displaystyle Y}
is kicsi.
A kovariancia negatív, ha
X
{\displaystyle X}
és
Y
{\displaystyle Y}
között negatív az összefüggés, ha
X
{\displaystyle X}
nagy, akkor
Y
{\displaystyle Y}
kicsi, és ha
X
{\displaystyle X}
kicsi, akkor
Y
{\displaystyle Y}
nagy. Ez nem fordított arányosságot jelez, hiszen a kovariancia csak lineáris összefüggés kimutatására képes.
A kovariancia nulla, akkor
X
{\displaystyle X}
és
Y
{\displaystyle Y}
között nincs lineáris összefüggés, de másfajta lehet.
Az eltolási tulajdonság:
Cov
(
X
,
Y
)
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
.
{\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y).}
Bizonyítás:
Cov
(
X
,
Y
)
=
E
[
(
X
−
E
(
X
)
)
⋅
(
Y
−
E
(
Y
)
)
]
=
E
[
(
X
Y
−
X
E
(
Y
)
−
Y
E
(
X
)
+
E
(
X
)
E
(
Y
)
)
]
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
−
E
(
Y
)
E
(
X
)
+
E
(
X
)
E
(
Y
)
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
◻
{\displaystyle {\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} {\bigl [}(XY-X\operatorname {E} (Y)-Y\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)-\operatorname {E} (Y)\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)\qquad \Box \end{aligned}}}
Tétel: A kovariancia a szórásnégyzet általánosítása, mivel
Var
(
X
)
=
Cov
(
X
,
X
)
.
{\displaystyle \operatorname {Var} (X)=\operatorname {Cov} (X,X).}
Bizonyítás:
Cov
(
X
,
X
)
=
E
[
(
X
−
E
(
X
)
)
2
]
=
Var
(
X
)
◻
{\displaystyle {\begin{aligned}\operatorname {Cov} (X,X)&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))^{2}{\bigr ]}\\&=\operatorname {Var} (X)\qquad \Box \end{aligned}}}
Tehát a szórásnégyzet a valószínűségi változó önmagával vett kovarianciája.
A kovarianciával kiszámítható négyzetesen integrálható valószínűségi változók összegének szórásnégyzete. Általában:
Var
(
∑
i
=
1
n
X
i
)
=
∑
i
,
j
=
1
n
Cov
(
X
i
,
X
j
)
=
∑
i
=
1
n
Var
(
X
i
)
+
∑
i
,
j
=
1
,
i
≠
j
n
Cov
(
X
i
,
X
j
)
=
∑
i
=
1
n
Var
(
X
i
)
+
2
∑
i
=
1
n
−
1
∑
j
=
i
+
1
n
Cov
(
X
i
,
X
j
)
.
{\displaystyle {\begin{aligned}\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)&=\sum _{i,j=1}^{n}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+\sum _{i,j=1,i\neq j}^{n}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+2\sum _{i=1}^{n-1}\sum _{j=i+1}^{n}\operatorname {Cov} (X_{i},X_{j}).\end{aligned}}}
Speciálisan, két valószínűségi változó összegének szórásnégyzete:
Var
(
X
+
Y
)
=
Var
(
X
)
+
Var
(
Y
)
+
2
Cov
(
X
,
Y
)
.
{\displaystyle \operatorname {Var} (X+Y)=\operatorname {Var} (X)+\operatorname {Var} (Y)+2\operatorname {Cov} (X,Y).}
Ahogy az közvetlenül következik a definícióból, ha az egyik valószínűségfi változó előjele megváltozik, akkor a kovariancia is:
Cov
(
X
,
−
Y
)
=
−
Cov
(
X
,
Y
)
{\displaystyle \operatorname {Cov} (X,-Y)=-\operatorname {Cov} (X,Y)}
Így két valószínűségi változó különbségére:
Var
(
X
−
Y
)
=
Var
(
X
+
(
−
Y
)
)
=
Var
(
X
)
+
Var
(
Y
)
−
2
Cov
(
X
,
Y
)
.
{\displaystyle \operatorname {Var} (X-Y)=\operatorname {Var} (X+(-Y))=\operatorname {Var} (X)+\operatorname {Var} (Y)-2\operatorname {Cov} (X,Y).}
Tétel: A kovariancia szimmetrikus pozitív szemidefinit bilineáris forma a négyzetesen integrálható valószínűségi változók terében.
Tétel: Bilineárisság: Az
a
,
b
,
c
,
d
,
e
,
f
,
g
,
h
∈
R
{\displaystyle a,b,c,d,e,f,g,h\in \mathbb {R} }
valós számokra:
Cov
(
a
X
+
b
,
c
Y
+
d
)
=
a
c
Cov
(
X
,
Y
)
{\displaystyle \operatorname {Cov} (aX+b,cY+d)=ac\operatorname {Cov} (X,Y)\qquad }
Cov
[
X
,
(
e
Y
+
f
)
+
(
g
Z
+
h
)
]
=
e
Cov
(
X
,
Y
)
+
g
Cov
(
X
,
Z
)
.
{\displaystyle \operatorname {Cov} [X,(eY+f)+(gZ+h)]=e\operatorname {Cov} (X,Y)+g\operatorname {Cov} (X,Z).}
Bizonyítás:
Cov
(
a
X
+
b
,
c
Y
+
d
)
=
E
[
(
a
X
+
b
−
E
(
a
X
+
b
)
)
⋅
(
c
Y
+
d
−
E
(
c
Y
+
d
)
)
]
=
E
[
(
a
X
−
a
E
(
X
)
)
⋅
(
c
Y
−
c
E
(
Y
)
)
]
=
a
c
E
[
(
X
−
E
(
X
)
)
⋅
(
Y
−
E
(
Y
)
)
]
=
a
c
Cov
(
X
,
Y
)
{\displaystyle {\begin{aligned}\operatorname {Cov} (aX+b,cY+d)&=\operatorname {E} {\bigl [}(aX+b-\operatorname {E} (aX+b))\cdot (cY+d-\operatorname {E} (cY+d)){\bigr ]}\\&=\operatorname {E} {\bigl [}(aX-a\operatorname {E} (X))\cdot (cY-c\operatorname {E} (Y)){\bigr ]}\\&=ac\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}\\&=ac\operatorname {Cov} (X,Y)\end{aligned}}}
Cov
[
X
,
(
e
Y
+
f
)
+
(
g
Z
+
h
)
]
=
E
[
(
X
−
E
(
X
)
)
⋅
(
e
Y
+
f
+
g
Z
+
h
−
E
(
e
Y
+
f
+
g
Z
+
h
)
)
]
=
E
[
(
X
−
E
(
X
)
)
⋅
(
e
Y
−
e
E
(
Y
)
+
g
Z
−
g
E
(
Z
)
)
]
=
E
[
(
X
−
E
(
X
)
)
⋅
e
(
Y
−
E
(
Y
)
)
+
(
X
−
E
(
X
)
)
⋅
g
(
Z
−
E
(
Z
)
)
]
=
e
E
[
(
X
−
E
(
X
)
)
⋅
(
Y
−
E
(
Y
)
)
]
+
g
E
[
(
X
−
E
(
X
)
)
⋅
(
Z
−
E
(
Z
)
)
]
=
e
Cov
(
X
,
Y
)
+
g
Cov
(
X
,
Z
)
◻
{\displaystyle {\begin{aligned}\operatorname {Cov} [X,(eY+f)+(gZ+h)]&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (eY+f+gZ+h-\operatorname {E} (eY+f+gZ+h)){\bigr ]}\\&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (eY-e\operatorname {E} (Y)+gZ-g\operatorname {E} (Z)){\bigr ]}\\&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot e(Y-\operatorname {E} (Y))+(X-\operatorname {E} (X))\cdot g(Z-\operatorname {E} (Z)){\bigr ]}\\&=e\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}+g\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Z-\operatorname {E} (Z)){\bigr ]}\\&=e\operatorname {Cov} (X,Y)+g\operatorname {Cov} (X,Z)\qquad \Box \end{aligned}}}
Könnyen látható, hogy a kovariancia invariáns a konstans hozzáadására. A második egyenlőségben szimmetria miatt első változójában is lineáris.
Tétel: Szimmetria.
Cov
(
X
,
Y
)
=
Cov
(
Y
,
X
)
{\displaystyle \operatorname {Cov} (X,Y)=\operatorname {Cov} (Y,X)}
Bizonyítás:
Cov
(
X
,
Y
)
=
E
[
(
Y
−
E
(
Y
)
)
⋅
(
X
−
E
(
X
)
)
]
=
Cov
(
Y
,
X
)
◻
{\displaystyle {\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} {\bigl [}(Y-\operatorname {E} (Y))\cdot (X-\operatorname {E} (X)){\bigr ]}\\&=\operatorname {Cov} (Y,X)\qquad \Box \end{aligned}}}
Tétel (Pozitív szemidefinit):
Cov
(
X
,
X
)
≥
0.
{\displaystyle \operatorname {Cov} (X,X)\geq 0.}
Bizonyítás:
Cov
(
X
,
X
)
=
Var
(
X
)
≥
0
◻
{\displaystyle \operatorname {Cov} (X,X)=\operatorname {Var} (X)\geq 0\qquad \Box }
A szimmetrikus szemidefinit bilineáris alakból következik, hogy teljesül a Cauchy–Bunyakovszkij–Schwarz-egyenlőtlenség :
|
Cov
(
X
,
Y
)
|
≤
Var
(
X
)
⋅
Var
(
Y
)
{\displaystyle |\operatorname {Cov} (X,Y)|\leq {\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}}
A linearitásból következik, hogy a kovariancia függ a véletlen változók nagyságáétól. Így a kovariancia a tízszeresére változik, ha
X
{\displaystyle X}
helyett a
10
X
{\displaystyle 10X}
valószínűségi változót használjuk. Így a kovariancia nagysága a valószínűségi változók mértékegységeitől is függ. Mivel ez a tulajdonság nehezen értelmezhetővé teszi a kovariancia nagyságát, azért helyette inkább a korrelációs együtthatót használják, ami skálafüggetlen:
ρ
X
,
Y
=
Cov
(
X
,
Y
)
Var
(
X
)
⋅
Var
(
Y
)
.
{\displaystyle \rho _{X,Y}={\frac {\operatorname {Cov} (X,Y)}{{\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}}}\ .}
Definíció: Ha
X
{\displaystyle X}
és
Y
{\displaystyle Y}
valószínűségi változók, és
Cov
(
X
,
Y
)
=
0
{\displaystyle \operatorname {Cov} (X,Y)=0}
, emiatt
ϱ
(
X
,
Y
)
=
0
{\displaystyle \varrho (X,Y)=0}
, akkor
X
{\displaystyle X}
és
Y
{\displaystyle Y}
korrelálatlan.
Tétel: Ha
X
{\displaystyle X}
és
Y
{\displaystyle Y}
független valószínűségi változók , akkor
Cov
(
X
,
Y
)
=
0.
{\displaystyle \operatorname {Cov} (X,Y)=0.}
Bizonyítás: Független valószínűségi változók esetén
E
(
X
Y
)
=
E
(
X
)
E
(
Y
)
{\displaystyle \operatorname {E} (XY)=\operatorname {E} (X)\operatorname {E} (Y)}
, d. h.
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
=
0
⇔
Cov
(
X
,
Y
)
=
0.
{\displaystyle {\begin{aligned}\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)&=0\\\Leftrightarrow \qquad \qquad \qquad \operatorname {Cov} (X,Y)&=0.\qquad \end{aligned}}}
A megfordítás nem mindig teljesül. Legyen az
X
{\displaystyle X}
valószínűségi változó egyenletes eloszlású a
[
−
1
,
1
]
{\displaystyle [-1,1]}
intervallumon, és
Y
=
X
2
{\displaystyle Y=X^{2}}
. Nyilvánvaló, hogy
X
{\displaystyle X}
és
Y
{\displaystyle Y}
nem függetlenek. Viszont
Cov
(
X
,
Y
)
=
Cov
(
X
,
X
2
)
=
E
(
X
3
)
−
E
(
X
)
E
(
X
2
)
=
0
−
0
⋅
E
(
X
2
)
=
0
{\displaystyle \operatorname {Cov} (X,Y)=\operatorname {Cov} (X,X^{2})=\operatorname {E} (X^{3})-\operatorname {E} (X)\operatorname {E} (X^{2})=0-0\cdot \operatorname {E} (X^{2})=0}
.
További példák korrelálatlan, de nem független valószínűségi változókra:
Legyenek
X
{\displaystyle X}
és
Y
{\displaystyle Y}
valószínűségi változók úgy, hogy
P
(
X
=
0
,
Y
=
1
)
=
1
2
{\displaystyle P(X=0,Y=1)={\tfrac {1}{2}}}
und
P
(
X
=
2
,
Y
=
0
)
=
P
(
X
=
2
,
Y
=
2
)
=
1
4
.
{\displaystyle P(X=2,Y=0)=P(X=2,Y=2)={\tfrac {1}{4}}.}
Ekkor
P
(
X
=
0
)
=
P
(
X
=
2
)
=
1
2
{\displaystyle P(X=0)=P(X=2)={\tfrac {1}{2}}}
és
P
(
Y
=
0
)
=
P
(
Y
=
2
)
=
1
4
{\displaystyle P(Y=0)=P(Y=2)={\tfrac {1}{4}}}
,
P
(
Y
=
1
)
=
1
2
.
{\displaystyle P(Y=1)={\tfrac {1}{2}}.}
Következik, hogy
E
(
X
)
=
E
(
Y
)
=
1
{\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=1}
és
E
(
X
Y
)
=
1
{\displaystyle \operatorname {E} (XY)=1}
, tehát
Cov
(
X
,
Y
)
=
0.
{\displaystyle \operatorname {Cov} (X,Y)=0.}
Másrészt
X
{\displaystyle X}
és
Y
{\displaystyle Y}
nem függetlenek, mivel
P
(
X
=
0
,
Y
=
1
)
=
1
2
≠
1
2
⋅
1
2
=
P
(
X
=
0
)
P
(
Y
=
1
)
{\displaystyle P(X=0,Y=1)={\tfrac {1}{2}}\neq {\tfrac {1}{2}}\cdot {\tfrac {1}{2}}=P(X=0)P(Y=1)}
.
Legyenek
X
{\displaystyle X}
és
Y
{\displaystyle Y}
valószínűségi változók Bernoulli-eloszlásúak a
p
{\displaystyle p}
paraméterrel és függetlenek. Ekkor
(
X
+
Y
)
{\displaystyle (X+Y)}
és
(
X
−
Y
)
{\displaystyle (X-Y)}
korrelálatlan, de nem független.
A korrelálatléanság nyilvánvaló, mivel
Cov
(
X
+
Y
,
X
−
Y
)
=
Cov
(
X
,
X
)
−
Cov
(
X
,
Y
)
+
Cov
(
Y
,
X
)
−
Cov
(
Y
,
Y
)
=
0.
{\displaystyle \operatorname {Cov} (X+Y,X-Y)=\operatorname {Cov} (X,X)-\operatorname {Cov} (X,Y)+\operatorname {Cov} (Y,X)-\operatorname {Cov} (Y,Y)=0.}
De
(
X
+
Y
)
{\displaystyle (X+Y)}
és
(
X
−
Y
)
{\displaystyle (X-Y)}
nem függetlenek, hiszen
P
(
X
+
Y
=
0
,
X
−
Y
=
1
)
=
0
≠
p
(
1
−
p
)
3
=
P
(
X
+
Y
=
0
)
P
(
X
−
Y
=
1
)
.
{\displaystyle P(X+Y=0,X-Y=1)=0\neq p(1-p)^{3}=P(X+Y=0)P(X-Y=1).}
Ez a szócikk részben vagy egészben a Kovarianz (Stochastik) című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.