Legkisebb négyzetek módszere

A legkisebb négyzetek módszere a mérések matematikai feldolgozásában használt eljárás. Nevét arról kapta, hogy az eltérések négyzetösszegét igyekszik minimalizálni.

A kék vonallal jelzett függvényt úgy kell megválasztani, hogy a piros mérési pontokhoz a lehető legjobban illeszkedjék

A Gauss által kidolgozott módszer két legfontosabb alkalmazása:

1 – ismert leképezéssel adott függvény egyszerűbb kifejezéssel való közelítése, approximációja,

2 – empirikus formulák együtthatóinak (paramétereinek) meghatározása.

Függvény-approximáció

Az 1. esetben legtöbbször polinomot választanak közelítésnek, vagy a modellnek jobban megfelelő (például periodikus) elemi függvények lineáris kombinációját:

$y\approx a\cdot u(x)+b\cdot v(x)+c\cdot w(x)+\dots$

Általánosan: az $y=F(U)$ függvényt az $U$ független változó egy $M$ tartományán olyan ${\hat {y}}=f(U)$ függvénnyel kell közelíteni, amelynél a

$Q=\int _{M}(y-{\hat {y}})^{2}dU=\int _{M}(F(U)-f(U))^{2}dU$

kumulált (összegezett) kvadratikus hiba minimális.

Példa

Az egyváltozós $y=F(U)=\cos({\frac {\pi x}{2}})$ függvényhez a (-1;1) intervallumban keresünk közelítő ${\hat {y}}=ax^{2}+b$ másodfokú polinomot. A feladat az $a,b$ együtthatók meghatározása. A kvadratikus hiba integrálja:

$Q=\int _{-1}^{1}(y-{\hat {y}})^{2}=\int _{-1}^{1}(\cos({\frac {\pi x}{2}})-ax^{2}-b)^{2}dx$.

A parciális deriváltak zérushelyeit megadó egyenletek:

${\begin{cases}{\frac {\partial Q}{\partial a}}=2a\int _{-1}^{1}x^{4}\,dx+2b\int _{-1}^{1}x^{2}dx-2\int _{-1}^{1}x^{2}\cos({\frac {\pi x}{2}})\,dx\\{\frac {\partial Q}{\partial b}}=2a\int _{-1}^{1}x^{2}dx+2b\int _{-1}^{1}\,dx-2\int _{-1}^{1}\cos({\frac {\pi x}{2}})dx\end{cases}}$

A kétismeretlenes lineáris egyenletrendszer együtthatóiként kapott határozott integrálokat a szükséges pontossággal kiszámítva és behelyettesítve a gyököket meghatározhatjuk. Ezzel a közelítő formula:

$\cos({\frac {\pi x}{2}})\approx -1,031x^{2}+0,98$.

Ebből az ${\hat {x}}={\frac {\pi x}{2}}$ transzformációval a $\cos {\hat {x}}\approx -0,418{\hat {x}}^{2}+0,98$ közelítő egyenletet kapjuk.

Empirikus formulák

A 2. esetben a vizsgált fizikai, gazdasági, statisztikai stb. jelenség természete által meghatározott típusú függvényt kell a kísérlettel, megfigyeléssel nyert adatokhoz illeszteni. Ez utóbbi feladatban a mérések száma adott, míg az előbbinél a kutató döntésére van bízva, hogy milyen pontosságú közelítést akar alkalmazni. A két eset a gyakorlatban azonosan is modellezhető, ha az 1. esetben az eredeti függvény $y=F(U)$ explicit képletéből kiszámított $(U_{i},y_{i})\;i=1,2,3,\dots \qquad$ adatokat - ahol $U_{i}=x_{i,1},x_{i,2},\ x_{i,n}\dots \qquad$ - tekintjük mérési eredményeknek.

Általánosan: A kísérletből vagy számítással kapott $(U_{i},y_{i})\;i=1,2,3,\dots \,n\qquad$ adatokhoz olyan ${\hat {y}}=f(U)$ függvényt kell illeszteni, amelynek a ${\hat {y}}_{i}=f(U_{i})$ helyettesítési értékeire a

$Q=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}$ .

kumulált kvadratikus hiba minimális.

A $Q$ hibaösszeg a közelítő $f(U)$ függvény $a,b,c,\dots \quad$ együtthatóitól (paramétereitől) függ. Minimális csak akkor lehet, ha minden paraméter szerinti (parciális) deriváltja zérus:

${\frac {\partial Q}{\partial a}}=0,$ ${\frac {\partial Q}{\partial b}}=0,$ ${\frac {\partial Q}{\partial c}}=0,\dots$.

Példa

A hipotetikus $t\mapsto y$ leképezéssel modellezhető összefüggést leíró $y=f(t)$ függvényt ${\hat {y}}=mx+b$ elsőfokú polinommal közelítjük (regressziós egyenes). A ($1;0),(2;1),(3;3),(4;5)$ értékpárokkal adott mérési pontokban számított négyzetes hibák összege ekkor:

$Q=\sum _{i}^{}(mt_{i}+b-y_{i})^{2}$

A parciális deriváltak:

${\begin{cases}{\frac {1}{2}}{\frac {\partial Q}{\partial m}}=\sum _{i}(mt_{i}+b-y_{i})t_{i}=m\sum t_{i}^{2}+b\sum t_{i}-\sum t_{i}y_{i}=0\\{\frac {1}{2}}{\frac {\partial Q}{\partial b}}=\sum _{i}(mt_{i}+b-y_{i})=m\sum t_{i}+nb-\sum y_{i}=0\end{cases}}$

Az egyenletek megoldásával a kapcsolatot leíró empirikus formula:

$y(t)\approx 1,7t-2$

Mellékfeltételek

Gyakran további információk ismertek a paraméterekről, amik egyenletekkel vagy egyenlőtlenségekkel fejezhetők ki. Egyenletek abból adódhatnak, hogy bizonyos adatpontokat interpolálni kell. Az egyenlőtlenségek gyakoribbak, és leginkább egy intervallumot adnak meg valamely paraméter lehetséges értékeire.

Az egyenleteket felhasználva a probléma dimenziója csökkenthető, ezzel a feladat egy alacsonyabb dimenziós feladatra vezethető vissza, aminek megoldása automatikusan megoldása az eredeti feladatnak is, és a mellékfeltételeket is teljesíti. Az egyenlőtlenségek kezelése nehezebb.

A feladatot az egyenlőtlenségek által behatárolt konvex halmazon kell megoldani. A minimalizálandó négyzetösszeg alakja

$\min _{x}\|Ax-b\|_{2}$

ahol $l\leq Cx\leq u$, $C\in \mathbb {R} ^{n\times n}.$ Ez éppen egy konvex optimalizálással egyértelműen megoldható feladat.

Az integrálegyenletekből keletkező kvadratikus egyenlőtlenségek esetén nem biztos, hogy a legjobb közelítés egyértelmű. A numerikus megoldás speciális QR-felbontással számítható.

Követelmények az adatokkal szemben

A legkisebb négyzetek módszere esetén az adatoktól elvárjuk, hogy megfeleljenek bizonyos tulajdonságoknak, illetve éppen ellenkezőleg, hogy bizonyos tulajdonságok ne lépjenek fel. Ilyen nemkívánatos tulajdonságok a kívülálló adatok, és a multikollinearitás.

A módszer érzékeny a nagyon kilógó adatokra. Egy kilógó adat az egész eljárás eredményét megváltoztathatja, hamis képet adva az adatsorról. Különböző statisztikai tesztekkel szűrik az adatsort, hogy ne maradjanak benne mérési hibák. A kilógó adatokat elhagyják, vagy a kívülállókra kevésbé érzékeny módszerekkel alternatív becsléseket végeznek. ilyen például a súlyozott regresszió, amiben a kívülálló adatok súlyát, és ezzel befolyását is csökkentik.

Több független változó esetén a multikollinearitás azt jelenti, hogy két független változó erősen korrelál, ezért közel állnak a lineáris összefüggéshez. Ez azért baj, mert így a feladat rosszul kondicionálttá válik, ami azt jelenti, hogy érzékeny lesz a mérési hibákra; kis hibák is nagyon eltérő eredményhez vezetnek.

Általánosítása

A követelmények fellazításával az általánosított legkisebb négyzetek feladatához jutunk. A fontos speciális eseteknek nevük is van, például súlyozott legkisebb négyzetek módszere. Itt az eltérésekről csak a korrelálatlanságot követelik meg, az azonos szórást nem. Ezek a

$\|D(Ax-b)\|_{2},$

alakú normálegyenlethez vezetnek, ahol D diagonális mátrix. Ha a szórások nagyban ingadoznak, akkor a feladat rosszul kondicionált lesz.

Ha még azt is tekintetbe vesszük, hogy a módszer és a mérések is hibával terheltek, akkor egy újabb változathoz jutunk. Ennek alakja:

$\min _{E,r}\|(E,r)\|_{F},(A+E)x=b+r,$

ahol E jelöli a modell, és r az adatok hibáit.

Lehet olyan modellt is alkotni, amiben nem teszünk fel normális eloszlást. Ekkor nem euklideszi, hanem például 1-es normában kell minimalizálni.

Története

1801. január 1-jén újévkor Giuseppe Piazzi olasz csillagász felfedezte a Ceres törpebolygót. 40 napon át figyelte a pályáját, amíg a Ceres el nem tűnt a Nap mögött. Az év során több tudós próbálkozott azzal, hogy Piazzi megfigyelései alapján becslést adjon a törpebolygó pályájára, a legtöbb számítás azonban használhatatlan volt. Egyedül az akkor huszonnégy éves Gauss számítása volt elég pontos ahhoz, hogy annak alapján decemberben Franz Xaver von Zach ismét ráleljen a Ceresre. Gauss híressé vált eljárását, a legkisebb négyzetek módszerét 1809-ben adta ki a Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium című művének második kötetében.

Tőle függetlenül 1806-ban a francia Legendre is közzétette ugyanezt a módszert az üstökösök pályájáról szóló munkájának a végén. Tőle származik a méthode des moindres carré (legkisebb négyzetek módszere) elnevezés.

1829-ben Gauss megadta a módszer valószínűségelméleti megalapozását is: bebizonyította, hogy tágabb értelemben a módszer optimális. Ezt a bizonyítást nevezik Gauss–Markov-tételnek.

A módszer alkalmazásában jelentős előrelépést jelentett az általánosított inverzek elterjedése, amelyek ilyen célú felhasználása elsősorban C. R. Rao nevéhez fűződik.

A legkisebb négyzetek módszerének magyarországi geodéziai alkalmazásához Bodola és Hazay könyvei járultak hozzá legjobban.

Források

• Bevezetés a geodéziai hibaelméletbe
• Åke Björck: Numerical Methods for Least Squares Problems. SIAM, Philadelphia 1996, ISBN 0-89871-360-9.
• Walter Großmann: Grundzüge der Ausgleichsrechnung. Springer Verlag, Berlin Heidelberg New York 1969 (3. erw. Aufl.), ISBN 3-540-04495-7.
• Richard J. Hanson, Charles L. Lawson: Solving least squares problems. SIAM, Philadelphia 1995, ISBN 0-89871-356-0.
• Frederick Mosteller, John W. Tukey: Data Analysis and Regression – a second course in statistics. Addison-Wesley, Reading MA 1977, ISBN 0-201-04854-X.
• Gerhard Opfer: Numerische Mathematik für Anfänger. Eine Einführung für Mathematiker, Ingenieure und Informatiker. Vieweg, Braunschweig 2002 (4. Aufl.), ISBN 3-528-37265-6.
• Peter Schönfeld: Methoden der Ökonometrie. 2 Bd. Vahlen, Berlin-Frankfurt 1969–1971.
• Eberhard Zeidler (Hrsg.): Taschenbuch der Mathematik. Begründet v. I.N. Bronstein, K.A. Semendjajew. Teubner, Stuttgart-Leipzig-Wiesbaden 2003, ISBN 3-8171-2005-2.
• T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.

Fordítás

Ez a szócikk részben vagy egészben a Methode der kleinsten Quadrate című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.