Módszer legkisebb négyzetek

Legkisebb négyzet módszer ( OLS, OLS, közönséges legkisebb négyzetek) - a regresszióanalízis egyik alapvető módszere regressziós modellek ismeretlen paramétereinek mintaadatok felhasználásával történő becslésére. A módszer a regressziós maradékok négyzetösszegének minimalizálásán alapul.

Meg kell jegyezni, hogy maga a legkisebb négyzetek módszere nevezhető módszernek egy probléma megoldására bármely területen, ha a megoldás a szükséges változók egyes függvényei négyzetösszegének minimalizálására vonatkozó feltételekben rejlik vagy eleget tesz. Ezért a legkisebb négyzetek módszere is használható közelítő ábrázoláshoz (közelítéshez) adott funkciót egyéb (egyszerűbb) függvények, amikor olyan mennyiségek halmazát találjuk, amelyek megfelelnek egyenleteknek vagy korlátozásoknak, amelyek száma meghaladja ezen mennyiségek számát stb.

Az MNC lényege

Adjunk meg valamilyen (parametrikus) modellt a (magyarázott) változó közötti valószínűségi (regressziós) kapcsolatról yés sok tényező (magyarázó változók) x

ahol az ismeretlen modellparaméterek vektora

- véletlenszerű modellhiba.

Legyen az is minta megfigyelések a megadott változók értékei. Legyen a megfigyelési szám (). Ezután a változók értékei vannak a megfigyelésben. Aztán at adott értékeket A b paraméterek alapján kiszámíthatja az y magyarázott változó elméleti (modell) értékeit:

A maradékok mérete a b paraméterek értékétől függ.

A legkisebb négyzetek módszerének (közönséges, klasszikus) lényege, hogy olyan b paramétereket találjunk, amelyekre a maradékok négyzetösszege (eng. Maradék négyzetösszeg) minimális lesz:

BAN BEN általános eset ez a probléma megoldható numerikus módszerek optimalizálás (minimalizálás). Ebben az esetben arról beszélnek nemlineáris legkisebb négyzetek(NLS vagy NLLS - angol) Nem lineáris legkisebb négyzetek). Sok esetben kaphat analitikus megoldás. A minimalizálási probléma megoldásához meg kell találni álló pontok függvény, differenciálása ismeretlen paraméterek alapján b, a derivált nullával való egyenlővé tétele és a kapott egyenletrendszer megoldása:

Ha a modell véletlenszerű hibái normál eloszlásúak, ugyanolyan szórással rendelkeznek, és nincs korrelációjuk, az OLS paraméterbecslései megegyeznek a maximális valószínűségi becslésekkel (MLM).

OLS lineáris modell esetén

Legyen a regressziós függés lineáris:

Hadd y a magyarázott változó megfigyelésének oszlopvektora, és faktormegfigyelések mátrixa (a mátrix sorai a faktorértékek vektorai ezt a megfigyelést, oszlopok szerint - értékek vektora ezt a tényezőt minden megfigyelésben). A lineáris modell mátrixábrázolása a következő:

Ekkor a magyarázott változó becslési vektora és a regressziós maradékok vektora egyenlő lesz

Ennek megfelelően a regressziós maradékok négyzetösszege egyenlő lesz

Ezt a függvényt a paramétervektorral differenciálva és a deriváltokat nullával egyenlővé téve egy egyenletrendszert kapunk (mátrix formában):

.

Ennek az egyenletrendszernek a megoldása azt adja általános képlet OLS becslések a lineáris modellhez:

Analitikai célokra a képlet utóbbi ábrázolása hasznos. Ha be regressziós modell adat központosított, akkor ebben az ábrázolásban az első mátrix faktorok minta kovarianciamátrixát, a második pedig faktorok kovarianciavektorát jelenti a függő változóval. Ha emellett az adatok is normalizálva az MSE-hez (vagyis végső soron szabványosított), akkor az első mátrix a faktorok mintakorrelációs mátrixát, a második vektor pedig a függő változóval rendelkező tényezők mintakorrelációinak vektorát jelenti.

A modellek OLS-becsléseinek fontos tulajdonsága állandóval- a megszerkesztett regressziós egyenes átmegy a mintaadatok súlypontján, azaz teljesül az egyenlőség:

Különösen ben utolsó lehetőségként, amikor az egyetlen regresszor egy konstans, azt kapjuk, hogy az egyetlen paraméter (maga az állandó) OLS-becslése megegyezik a magyarázott változó átlagos értékével. Azaz a számtani átlag, amelyről ismert jó tulajdonságok a nagy számok törvényeitől, egyben a legkisebb négyzetek becslése is - megfelel az attól való minimális négyzetösszeg kritériumának.

Példa: legegyszerűbb (páronkénti) regresszió

Gőzfürdő esetén lineáris regresszió a számítási képletek leegyszerűsödnek (ez nélkül is megteheti mátrix algebra):

Az OLS becslések tulajdonságai

Először is megjegyezzük, hogy azért lineáris modellek Az OLS becslések lineáris becslések, ahogy a fenti képletből következik. Az elfogulatlan OLS-becslésekhez szükséges és elégséges a végrehajtás a legfontosabb feltétel regressziós elemzés: a tényezők függvényében a véletlen hiba matematikai elvárása nullával kell, hogy legyen. Ez az állapot, különösen elégedett, ha

1. várható érték a véletlenszerű hibák nulla, és
2. tényezők és véletlenszerű hibák független valószínűségi változók.

A második feltétel - a tényezők exogenitásának feltétele - alapvető. Ha ez a tulajdonság nem teljesül, akkor feltételezhetjük, hogy szinte minden becslés rendkívül nem kielégítő: még csak nem is lesz következetes (vagyis nagyon nagy térfogatú adatok megszerzését nem teszik lehetővé minőségi értékelések ebben az esetben). Klasszikus esetben a faktorok determinizmusáról erősebb feltételezés történik, szemben a véletlenszerű hibával, ami automatikusan azt jelenti, hogy az exogenitási feltétel teljesül. Általános esetben a becslések konzisztenciájához elegendő az exogenitási feltételt a mátrixnak egy bizonyoshoz való konvergenciájával együtt teljesíteni. nem szinguláris mátrix ahogy a minta mérete a végtelenségig növekszik.

Annak érdekében, hogy a (közönséges) legkisebb négyzetek becslései amellett, hogy konzisztensek és torzítatlanok legyenek, hatékonyak is legyenek (a lineáris torzítatlan becslések osztályának legjobbjai), szükséges további tulajdonságok véletlen hiba:

Ezek a feltételezések megfogalmazhatók a véletlen hibavektor kovarianciamátrixára

Az ezeket a feltételeket kielégítő lineáris modellt ún klasszikus. A klasszikus lineáris regresszióhoz használt OLS becslések torzítatlanok, konzisztensek és a leghatékonyabb becslések az összes lineáris torzítatlan becslés osztályában. angol irodalom néha rövidítést használ KÉK (A legjobb lineáris alap nélküli becslő) - a legjobb lineáris torzítatlan becslés; V orosz irodalom Gyakran használják a Gauss-Markov-tételt). Amint az könnyen látható, az együtthatóbecslések vektorának kovarianciamátrixa egyenlő lesz:

Általános OLS

A legkisebb négyzetek módszere széles körű általánosítást tesz lehetővé. A maradékok négyzetösszegének minimalizálása helyett minimalizálhatunk néhány pozitív határozott másodfokú forma a maradék vektorból, ahol valamilyen szimmetrikus pozitív határozott súlymátrix. A közönséges legkisebb négyzetek egy speciális eset ez a megközelítés, amikor a súlymátrix arányos az identitásmátrixszal. Amint az a szimmetrikus mátrixok (vagy operátorok) elméletéből ismeretes, az ilyen mátrixok esetében dekompozíció történik. Ezért a megadott funkcionális ábrázolható a következő módon, vagyis ez a funkcionális néhány transzformált „maradvány” négyzetösszegeként ábrázolható. Így megkülönböztethetjük a legkisebb négyzetek módszereinek egy osztályát - LS módszereket (Least Squares).

Bebizonyosodott (Aitken tétele), hogy egy általánosított lineáris regressziós modellnél (amelyben nincs korlátozás a véletlen hibák kovarianciamátrixára) a leghatékonyabbak (a lineáris torzítatlan becslések osztályában) az ún. becslések. általánosított legkisebb négyzetek (GLS – általánosított legkisebb négyzetek)- LS módszer a véletlen hibák inverz kovarianciamátrixával egyenlő súlymátrixszal: .

Megmutatható, hogy a lineáris modell paramétereinek GLS becslésére szolgáló képletnek van alakja

E becslések kovarianciamátrixa ennek megfelelően egyenlő lesz

Valójában az OLS lényege az eredeti adatok bizonyos (lineáris) transzformációjában (P) és a hagyományos OLS alkalmazásában rejlik a transzformált adatokra. Ennek az átalakításnak az a célja, hogy a transzformált adatoknál a véletlenszerű hibák már kielégítsék a klasszikus feltételezéseket.

Súlyozott OLS

Átlós súlymátrix (és ezért véletlenszerű hibák kovarianciamátrixa) esetén van az úgynevezett súlyozott legkisebb négyzetek (WLS). BAN BEN ebben az esetben a modell maradékainak súlyozott négyzetösszege minimalizálva van, vagyis minden megfigyelés a véletlen hiba szórásával fordítottan arányos „súlyt” kap ebben a megfigyelésben: . Valójában az adatokat a megfigyelések súlyozásával transzformálják (elosztják a várttal arányos összeggel szórás véletlenszerű hibák), és a szokásos OLS-t alkalmazzák a súlyozott adatokra.

Az MNC gyakorlati használatának néhány speciális esete

Lineáris függés közelítése

Tekintsük azt az esetet, amikor valamely skaláris mennyiség valamelytől való függésének tanulmányozása eredményeként skalár mennyiség(Ez lehet például a feszültség függése az áramtól: , ahol - állandó, vezető ellenállás) méréseket végeztek ezeknek a mennyiségeknek, amelyek eredményeként megkapták az értékeket és a hozzájuk tartozó értékeket. A mérési adatokat táblázatban kell rögzíteni.

Asztal. Mérési eredmények.

Mérés sz.
1
2
3
4
5
6

A kérdés az, hogy az együttható milyen értékét lehet úgy választani a legjobb módírja le a függőséget? A legkisebb négyzetek módszere szerint ennek az értéknek olyannak kell lennie, hogy az értékek négyzetes eltéréseinek összege az értékektől

minimális volt

A négyzetes eltérések összegének van egy szélsősége - egy minimum, amely lehetővé teszi számunkra ennek a képletnek a használatát. Ebből a képletből keressük meg az együttható értékét. Ehhez alakítsuk át bal oldal a következő módon:

Az utolsó képlet lehetővé teszi, hogy megtaláljuk az együttható értékét, amelyre a feladatban szükség volt.

Sztori

Előtt eleje XIX V. a tudósoknak nem volt bizonyos szabályokat olyan egyenletrendszer megoldására, amelyben az ismeretlenek száma kisebb, mint az egyenletek száma; Addig az egyenletek típusától és a számológépek eszétől függő magántechnikákat alkalmaztak, ezért ugyanazon megfigyelési adatokon alapuló különböző számológépek jöttek létre. különféle következtetéseket. Gauss (1795) volt a felelős a módszer első alkalmazásáért, Legendre (1805) pedig önállóan fedezte fel és publikálta modern név(fr. Méthode des moindres quarrés ) . Laplace a módszert a valószínűségszámításhoz kapcsolta, Adrain amerikai matematikus (1808) pedig valószínűségelméleti alkalmazásait vizsgálta. A módszer széles körben elterjedt és továbbfejlesztett további kutatás Enke, Bessel, Hansen és mások.

Az OLS alternatív felhasználási módjai

A legkisebb négyzetek módszerének ötlete más, nem közvetlenül kapcsolódó esetekben is használható regresszió analízis. A tény az, hogy a négyzetösszeg a vektorok egyik leggyakoribb közelségi mértéke (euklideszi metrika véges dimenziós terekben).

Az egyik alkalmazás a lineáris egyenletrendszerek "megoldása", amelyben az egyenletek száma több szám változók

ahol a mátrix nem négyzet, hanem téglalap méretű.

Egy ilyen egyenletrendszernek általában nincs megoldása (ha a rang nagyobb, mint a változók száma). Ezért ez a rendszer csak abban az értelemben „megoldható”, hogy egy ilyen vektort választunk, hogy minimalizáljuk a vektorok és a vektorok közötti „távolságot”. Ehhez alkalmazhatja azt a kritériumot, hogy minimalizálja a bal és a megfelelő részek a rendszer egyenletei, azaz. Könnyen kimutatható, hogy ennek a minimalizálási problémának a megoldása vezet a megoldáshoz következő rendszer egyenletek

Példa.

Kísérleti adatok a változók értékeiről xÉs nál nél táblázatban vannak megadva.

Az igazításuk eredményeképpen a függvényt kapjuk

Használata legkisebb négyzetes módszer, közelítse meg ezeket az adatokat lineáris függéssel y=ax+b(keresse meg a paramétereket AÉs b). Nézze meg, hogy a két egyenes közül melyik igazítja jobban (a legkisebb négyzetek módszere értelmében) a kísérleti adatokat. Készítsen rajzot.

A legkisebb négyzetek módszerének (LSM) lényege.

A feladat az együtthatók megtalálása lineáris függőség, amelyre két változó függvénye AÉs b elfogadja nai alacsonyabb érték. Vagyis adott AÉs b a kísérleti adatok négyzetes eltéréseinek összege a talált egyenestől lesz a legkisebb. Ez a legkisebb négyzetek módszerének lényege.

Így a példa megoldása két változó függvényének extrémumának megkeresésére vezet.

Levezetési képletek az együtthatók megtalálásához.

Összeállítunk és megoldunk egy két egyenletrendszert két ismeretlennel. Függvény parciális deriváltjainak keresése a változókra vonatkozóan AÉs b, ezeket a származékokat nullával egyenlővé tesszük.

A kapott egyenletrendszert bármilyen módszerrel megoldjuk (pl helyettesítési módszerrel vagy ), és képleteket készítsünk együtthatók meghatározásához a legkisebb négyzetek módszerével (LSM).

Adott AÉs b funkció a legkisebb értéket veszi fel. Ennek a ténynek a bizonyítéka adott.

Ez a legkisebb négyzetek módszere. Képlet a paraméter megtalálásához a tartalmazza az összegeket , , , és paramétereket n- kísérleti adatok mennyisége. Javasoljuk ezen összegek értékének külön kiszámítását. Együttható b számítás után találtuk meg a.

Ideje emlékezni az eredeti példára.

Megoldás.

Példánkban n=5. A táblázatot a szükséges együtthatók képleteiben szereplő összegek kiszámításának megkönnyítése érdekében töltjük ki.

A táblázat negyedik sorában szereplő értékeket úgy kapjuk meg, hogy minden számhoz megszorozzuk a 2. sor értékét a 3. sor értékével én.

A táblázat ötödik sorában szereplő értékeket úgy kapjuk meg, hogy a 2. sorban lévő értékeket minden számhoz négyzetre emeljük én.

A táblázat utolsó oszlopában szereplő értékek a sorok közötti értékek összegei.

Az együtthatók meghatározásához a legkisebb négyzetek módszerének képleteit használjuk AÉs b. A táblázat utolsó oszlopának megfelelő értékeit helyettesítjük beléjük:

Ennélfogva, y = 0,165x+2,184- a kívánt közelítő egyenes.

Azt kell kideríteni, hogy melyik sorból y = 0,165x+2,184 vagy jobban közelíti az eredeti adatokat, azaz a legkisebb négyzetek módszerével becslést készít.

A legkisebb négyzetek módszerének hibabecslése.

Ehhez ki kell számítani az eredeti adatok e soroktól való eltérésének négyzetes összegét És , egy kisebb érték egy olyan vonalnak felel meg, amely jobban közelíti az eredeti adatokat a legkisebb négyzetek módszere értelmében.

Azóta, majd egyenesen y = 0,165x+2,184 jobban közelíti az eredeti adatokat.

A legkisebb négyzetek (LS) módszer grafikus ábrázolása.

A grafikonokon minden jól látható. A piros vonal a talált egyenes y = 0,165x+2,184, a kék vonal az , rózsaszín pöttyök az eredeti adatok.

Miért van erre szükség, miért ennyi közelítés?

Én személy szerint adatsimítási, interpolációs és extrapolációs problémák megoldására használom (az eredeti példában esetleg arra kérték őket, hogy találják meg egy megfigyelt érték értékét y nál nél x=3 vagy mikor x=6 a legkisebb négyzetek módszerével). Erről azonban később, az oldal másik részében fogunk beszélni.

Bizonyíték.

Tehát amikor megtalálták AÉs b függvény veszi a legkisebb értéket, akkor szükséges, hogy ezen a ponton a függvény másodrendű differenciáljának másodfokú alakjának mátrixa határozott pozitív volt. Mutassuk meg.

3. Függvények közelítése a módszerrel

legkisebb négyzetek

A kísérleti eredmények feldolgozásakor a legkisebb négyzetek módszerét alkalmazzuk közelítések (közelítések) kísérleti adatok analitikai képlet. A képlet adott típusát általában fizikai okokból választják ki. Ilyen képletek lehetnek:

és mások.

A legkisebb négyzetek módszerének lényege a következő. Mutassuk be a mérési eredményeket a táblázatban:

asztal 4
				x n
				y n

(3.1)

ahol f - ismert funkció, a 0, a 1, …, a m - ismeretlen állandó paraméterek, amelyek értékeit meg kell találni. A legkisebb négyzetek módszerében a (3.1) függvény kísérleti függőséghez való közelítése akkor tekinthető a legjobbnak, ha a feltétel teljesül.

(3.2)

vagyis összegeket a a kívánt négyzetes eltérései elemző funkció a kísérleti függőség minimális legyen .

Vegye figyelembe, hogy a függvény K hívott maradó.

Az eltérés óta

akkor van egy minimuma. A több változóból álló függvény minimumának szükséges feltétele, hogy a függvény összes parciális deriváltja nullával egyenlő legyen a paraméterek tekintetében. Így a megállapítás legjobb értékek a közelítő függvény (3.1) paraméterei, vagyis azok értékei, amelyeken Q = Q (a 0, a 1, …, a m ) minimális, az egyenletrendszer megoldására redukálódik:

(3.3)

A legkisebb négyzetek módszere a következő geometriai értelmezéssel adható: egy adott típusú egyenesek végtelen családja között találunk egy olyan egyenest, amelyre a kísérleti pontok ordinátáinak és a talált pontok megfelelő ordinátáinak négyzetes különbségének összege. ennek az egyenesnek az egyenlete szerint lesz a legkisebb.

Lineáris függvény paramétereinek megkeresése

Legyen a kísérleti adatok egy lineáris függvénnyel ábrázolva:

A következő értékeket kell kiválasztani a és b , amelyhez a függvény

(3.4)

minimális lesz. A szükséges feltételek a minimális függvényt (3.4) az egyenletrendszerre redukáljuk:

Transzformációk után egy két lineáris egyenletrendszert kapunk két ismeretlennel:

(3.5)

ennek megoldásával megtaláljuk a paraméterek szükséges értékeit a és b.

Paraméterek keresése másodfokú függvény

Ha a közelítő függvény másodfokú függés

akkor a paraméterei a, b, c a függvény minimális feltételéből található:

(3.6)

A (3.6) függvény minimumának feltételeit az egyenletrendszerre redukáljuk:

Az átalakulások után megkapjuk háromból álló rendszer lineáris egyenletek három ismeretlennel:

(3.7)

nál nél megoldásában megtaláljuk a paraméterek szükséges értékeit a, b és c.

Példa . Legyen a kísérlet eredménye a következő értéktáblázatban: x és y:

asztal 5
y i	0,705	0,495	0,426	0,357	0,368	0,406	0,549	0,768

A kísérleti adatokat lineáris és másodfokú függvényekkel kell közelíteni.

Megoldás. A közelítő függvények paramétereinek megtalálása a (3.5) és (3.7) lineáris egyenletrendszerek megoldására redukálódik. A probléma megoldásához táblázatkezelő processzort használunk Excel.

1. Először kössük össze az 1. és 2. lapot. Adja meg a kísérleti értékeket x i és y i oszlopokba A és B, a második sortól kezdve (az első sorba helyezzük az oszlopfejléceket). Ezután kiszámítjuk ezeknek az oszlopoknak az összegeit, és a tizedik sorba helyezzük őket.

A C–G oszlopokban Helyezzük el a számítást és az összegzést

2. Kapcsoljuk szét a lapokat Hasonló módon végezzük el a további számításokat az 1. laptól való lineáris és a 2. laptól való másodfokú függéshez.

3. A kapott táblázat alatt együtthatómátrixot és oszlopvektort fogunk alkotni ingyenes tagok. Oldjuk meg a lineáris egyenletrendszert a következő algoritmussal:

Számolni inverz mátrixés használja a mátrixszorzást Fő funkciókatés funkciókat MOBRÉs MUMNIFE.

4. A H2 cellák blokkjában: H 9 a kapott együtthatók alapján számítjuk ki közelítő érték polinomy i kalc., I. blokkban 2: I 9 – eltérések D y i = y i exp. - y i kalc.,J oszlopban – a maradék:

Az eredményül kapott táblák és a felhasznált táblák Diagramvarázslók grafikonok a 6., 7., 8. ábrán láthatók.

Rizs. 6. Táblázat egy lineáris függvény együtthatóinak kiszámításához,

közelítő kísérleti adatok.

Rizs. 7. táblázat egy másodfokú függvény együtthatóinak kiszámításához,

közelítőkísérleti adatok.

Rizs. 8. Grafikus ábrázolás közelítési eredmények

kísérleti adatok lineáris és másodfokú függvényekkel.

Válasz. A kísérleti adatokat lineáris függéssel közelítettük y = 0,07881 x + 0,442262 maradékkal K = 0,165167 és másodfokú függés y = 3,115476 x 2 – 5,2175 x + 2,529631 maradékkal K = 0,002103 .

Feladatok. Táblázattal adott függvény közelítése, lineáris és másodfokú függvények.

6. táblázat
№0	x	0,1	0,2	0,3	0,4	0,5	0,6	0,7	0,8
	y	3,030	3,142	3,358	3,463	3,772	3,251	3,170	3,665
№ 1
		3,314	3,278	3,262	3,292	3,332	3,397	3,487	3,563
№ 2
		1,045	1,162	1,264	1,172	1,070	0,898	0,656	0,344
№ 3
		6,715	6,735	6,750	6,741	6,645	6,639	6,647	6,612
№ 4
		2,325	2,515	2,638	2,700	2,696	2,626	2,491	2,291
№ 5
		1.752	1,762	1,777	1,797	1,821	1,850	1,884	1,944
№ 6
		1,924	1,710	1,525	1,370	1,264	1,190	1,148	1,127
№ 7
		1,025	1,144	1,336	1,419	1,479	1,530	1,568	1,248
№ 8
		5,785	5,685	5,605	5,545	5,505	5,480	5,495	5,510
№ 9
		4,052	4,092	4,152	4,234	4,338	4,468	4,599	Oktatóanyag Bevezetés Matematikus és programozó vagyok. A legtöbb nagy ugrás Pályám során elértem, amikor megtanultam mondani: "Nem értek semmit!" Most nem szégyellem elmondani a tudomány fényesének, hogy előadást tart nekem, hogy nem értem, mit mond nekem ő, a világító. És nagyon nehéz. Igen, bevallani tudatlanságát nehéz és kínos. Ki szereti bevallani, hogy nem ismeri valaminek az alapjait? Szakmámból adódóan kötelező járnom Nagy mennyiségű előadások és előadások, ahol bevallom, az esetek túlnyomó többségében aludni akarok, mert nem értek semmit. De nem értem, mert a tudomány jelenlegi helyzetének óriási problémája a matematikában rejlik. Feltételezi, hogy minden hallgató ismeri a matematika abszolút minden területét (ami abszurd). Szégyenletes dolog beismerni, hogy nem tudod, mi az a származékos (kicsit később beszélünk róla, hogy mi az). De megtanultam azt mondani, hogy nem tudom, mi az a szorzás. Igen, nem tudom, mi az a Lie-algebra feletti algebra. Igen, nem tudom, miért van rájuk szükség az életben másodfokú egyenletek. Egyébként, ha biztos benne, hogy tudja, akkor van miről beszélnünk! A matematika trükkök sorozata. A matematikusok megpróbálják megzavarni és megfélemlíteni a közvéleményt; ahol nincs zűrzavar, nincs hírnév, nincs tekintély. Igen, presztízs a lehető legelvontabb nyelven beszélni, ami teljes nonszensz. Tudod mi az a származék? Valószínűleg elmondja nekem a különbségi arány határát. A Szentpétervári Állami Egyetem matematika és mechanika első évében Viktor Petrovics Khavin elmondta nekem. eltökélt derivált, mint a függvény Taylor-sorozatának első tagjának együtthatója egy pontban (ez egy külön torna volt a Taylor-sor derivált nélküli meghatározására). Sokáig röhögtem ezen a meghatározáson, míg végül megértettem, miről van szó. A derivált nem más, mint annak egyszerű mértéke, hogy mennyire hasonlít az általunk megkülönböztetett függvény az y=x, y=x^2, y=x^3 függvényhez. Most abban a megtiszteltetésben vagyok, hogy olyan hallgatóknak tarthatok előadást, akik fél matematika. Ha fél a matematikától, ugyanazon az úton járunk. Amint megpróbál elolvasni egy szöveget, és úgy tűnik, hogy túlságosan bonyolult, akkor tudja, hogy rosszul van megírva. Kijelentem, hogy a matematikának nincs egyetlen olyan területe, amelyet ne lehetne „ujjakon” megvitatni anélkül, hogy elveszítené a pontosságot. Feladat a közeljövőre: Megbíztam tanítványaimat, hogy értsék meg, mi az a lineáris másodfokú szabályozó. Ne légy félénk, tölts el három percet az életedből, és kövesd a linket. Ha nem értesz semmit, akkor ugyanazon az úton járunk. Én (hivatásos matematikus-programozó) sem értettem semmit. És biztosíthatom önöket, hogy ezt „az ujjaikon” is kitalálhatja. Tovább Ebben a pillanatban Nem tudom, mi az, de biztosíthatom, hogy ki tudjuk találni. Szóval, az első előadás, amit a hallgatóimnak fogok tartani, miután rémülten odarohannak hozzám, és azt mondják, hogy a lineáris-kvadratikus szabályozó szörnyű dolog, amit soha életedben nem fogsz elsajátítani. legkisebb négyzetek módszerei. Tudod, hogyan dönts lineáris egyenletek? Ha olvassa ezt a szöveget, akkor valószínűleg nem. Tehát adott két pont (x0, y0), (x1, y1), például (1,1) és (3,2), a feladat az, hogy megtaláljuk az ezen a két ponton átmenő egyenes egyenletét: ábra Ennek a sornak a következő egyenletnek kell lennie: Itt az alfa és a béta ismeretlen számunkra, de ennek az egyenesnek két pontja ismert: Ezt az egyenletet felírhatjuk mátrix alakban: Mit kell itt csinálni lírai kitérő: Mi az a mátrix? A mátrix nem más, mint egy kétdimenziós tömb. Ez az adatok tárolásának egyik módja. Rajtunk múlik, hogy egy bizonyos mátrixot pontosan hogyan értelmezünk. Időről időre úgy fogom értelmezni lineáris leképezés, periodikusan másodfokú alakzatként, néha pedig egyszerűen vektorok halmazaként. Mindezt a kontextusban fogjuk tisztázni. Cseréljük le a konkrét mátrixokat szimbolikus ábrázolásukkal: Ezután (alfa, béta) könnyen megtalálható: Pontosabban korábbi adatainkra: Ami az (1,1) és (3,2) pontokon áthaladó egyenes alábbi egyenletéhez vezet: Oké, itt minden világos. Keressük meg az átmenő egyenes egyenletét három pontok: (x0,y0), (x1,y1) és (x2,y2): Ó-ó-ó, de van három egyenletünk két ismeretlenre! Egy átlagos matematikus azt mondja, hogy nincs megoldás. Mit fog mondani a programozó? És először átírja az előző egyenletrendszert a következő formában: A mi esetünkben i,j,b vektorok háromdimenziósak, ezért (általános esetben) erre a rendszerre nincs megoldás. Bármely vektor (alpha\*i + béta\*j) az (i, j) vektorok által átívelt síkban található. Ha b nem tartozik ehhez a síkhoz, akkor nincs megoldás (az egyenletben egyenlőség nem érhető el). Mit kell tenni? Keressünk egy kompromisszumot. Jelöljük azzal e (alfa, béta) pontosan meddig nem értük el az egyenlőséget: És megpróbáljuk minimalizálni ezt a hibát: Miért négyzet? Nem csak a norma minimumát keressük, hanem a norma négyzetének minimumát. Miért? Maga a minimum pont egybeesik, és a négyzet megadja sima funkció(az argumentumok másodfokú függvénye (alfa, béta)), míg egyszerűen a hossz egy kúp alakú függvényt ad, amely a minimum pontban nem differenciálható. Brr. A négyzet kényelmesebb. Nyilvánvaló, hogy a hiba minimálisra csökken, ha a vektor e merőleges a vektorok által átívelt síkra énÉs j. Ábra Más szóval: olyan egyenest keresünk, amelynél az összes pont és az egyenes közötti távolság négyzetes hosszának összege minimális: FRISSÍTÉS: Itt van egy problémám, az egyenes távolságát függőlegesen kell mérni, nem ortogonális vetület. Ennek a kommentátornak igaza van. Ábra Teljesen más szavakkal (gondosan, rosszul formalizált, de egyértelműnek kell lennie): minden lehetséges vonalat veszünk az összes pontpár között, és keressük az összes közötti átlagos vonalat: Ábra Egy másik magyarázat az ujjakra: rögzítünk egy rugót az összes adatpont (itt három van) és a keresett egyenes és az egyenes közé. egyensúlyi állapot pontosan ott van, amit keresünk. Minimális négyzetes forma Tehát, miután adott vektor bés a mátrix oszlopvektorai által átívelt sík A(ebben az esetben (x0,x1,x2) és (1,1,1)), keressük a vektort e minimális hosszúságú négyzettel. Nyilvánvalóan a minimum csak a vektornál érhető el e, merőleges a mátrix oszlopvektorai által átívelt síkra A: Más szóval, olyan x=(alfa, béta) vektort keresünk, amely: Hadd emlékeztesselek arra, hogy ez az x=(alfa, béta) vektor az ||e(alfa, béta)||^2 másodfokú függvény minimuma: Itt érdemes megjegyezni, hogy a mátrix másodfokú alakként is értelmezhető, pl. identitásmátrix((1,0),(0,1)) az x^2 + y^2 függvényeként értelmezhető: másodfokú forma Mindez a torna lineáris regresszió néven ismert. Laplace-egyenlet -val határfeltétel Dirichlet Most a legegyszerűbb igazi kihívás: van egy bizonyos háromszögletű felület, azt simítani kell. Például töltsük be az arcom modelljét: Az eredeti commit elérhető. Minimalizálásra külső függőségek Elvettem a szoftveres renderelőm kódját, már a Habrén. Megoldásokért lineáris rendszerÉn OpenNL-t használok, ez egy kiváló megoldó, amelyet azonban nagyon nehéz telepíteni: két fájlt (.h+.c) kell bemásolni a projekthez tartozó mappába. Minden simítás a következő kóddal történik: For (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = arcok[i];<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } } for (int j=0; j Az X, Y és Z koordináták elválaszthatók, külön simítom. Azaz három lineáris egyenletrendszert oldok meg, mindegyikben a modellemben szereplő csúcsok számával megegyező számú változó van. Az A mátrix első n sorában csak egy 1 van soronként, a b vektor első n sorában pedig az eredeti modellkoordináták. Vagyis a csúcs új helyzete és a csúcs régi pozíciója közé rugót kötök - az újak ne kerüljenek túl messze a régiektől. Még egyszer: minden csúcs változó, és nem mozdulhatnak messze eredeti pozíciójuktól, ugyanakkor megpróbálnak hasonlóvá válni. Íme az eredmény: Minden rendben lenne, tényleg le van simítva a modell, de eltávolodott az eredeti élétől. Változtassunk egy kicsit a kódon: For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); } Az A mátrixunkban az élen lévő csúcsokhoz nem egy sort adok hozzá a v_i = verts[i][d] kategóriából, hanem 1000*v_i = 1000*verts[i][d]. Mit változtat? És ez megváltoztatja a hiba másodfokú formáját. Most egyetlen eltérés a csúcstól nem egy egységbe kerül, mint korábban, hanem 1000*1000 egységbe. Vagyis a szélső csúcsokra erősebb rugót akasztottunk, a megoldás inkább a többit erősebben feszíti. Íme az eredmény: Duplázzuk meg a csúcsok közötti rugóerőt: nlKoficiens(arc[ j ], 2); nlegyüttható(arc[(j+1)%3], -2); Logikus, hogy a felület simább lett: És most még százszor erősebben: Mi ez? Képzelje el, hogy egy drótgyűrűt szappanos vízbe mártottunk. Ennek eredményeként a kapott szappanfólia megpróbálja a lehető legkisebb görbületet elérni, megérinti a szegélyt - a drótgyűrűnket. Pontosan ezt kaptuk a szegély rögzítésével, és sima felületet kértünk belülről. Gratulálunk, most megoldottuk a Laplace-egyenletet Dirichlet peremfeltételekkel. Jól hangzik? A valóságban azonban csak egy lineáris egyenletrendszert kell megoldania. Poisson-egyenlet Emlékezzünk még egy klassz névre. Tegyük fel, hogy van egy ilyen képem: Mindenkinek jól néz ki, de nekem nem tetszik a szék. Félbevágom a képet: És kiválasztok egy széket a kezemmel: For (int i=0; i Íme az eredmény: Ezután a kép bal oldalára húzok mindent, ami a maszkban fehér, és egyúttal azt mondom az egész képen, hogy két szomszédos pixel különbsége legyen egyenlő a két szomszédos pixel különbségével. a megfelelő kép: Kód és képek elérhetőek Ha egy bizonyos fizikai mennyiség egy másik mennyiségtől függ, akkor ez a függőség úgy vizsgálható, hogy y-t x különböző értékeinél mérjük. A mérések eredményeként számos értéket kapunk: x 1, x 2, ..., x i, ..., x n; Egy ilyen kísérlet adatai alapján elkészíthető az y = ƒ(x) függés grafikonja. A kapott görbe lehetővé teszi az ƒ(x) függvény alakjának megítélését. Az ebbe a függvénybe belépő állandó együtthatók azonban ismeretlenek maradnak. Meghatározhatók a legkisebb négyzetek módszerével. A kísérleti pontok általában nem fekszenek pontosan a görbén. A legkisebb négyzetek módszere megköveteli, hogy a kísérleti pontok görbétől való eltéréseinek négyzetösszege, i.e. 2 volt a legkisebb. A gyakorlatban ezt a módszert leggyakrabban (és legegyszerűbben) lineáris kapcsolat esetén alkalmazzák, pl. Amikor y = kx vagy y = a + bx. A lineáris függőség nagyon elterjedt a fizikában. És még akkor is, ha a kapcsolat nemlineáris, általában megpróbálnak olyan gráfot szerkeszteni, hogy egyenest kapjanak. Például, ha feltételezzük, hogy az n üveg törésmutatója a λ fényhullámhosszhoz kapcsolódik az n = a + b/λ 2 összefüggés alapján, akkor n λ -2-től való függését ábrázoljuk a grafikonon. A gyakorlatban ezt a módszert leggyakrabban (és legegyszerűbben) lineáris kapcsolat esetén alkalmazzák, pl. Amikor Vegye figyelembe a függőséget (az origón áthaladó egyenes). Állítsuk össze a φ értéket pontjaink egyenestől való eltéréseinek négyzetösszegéből A φ értéke mindig pozitív, és annál kisebbnek bizonyul, minél közelebb vannak pontjaink az egyeneshez. A legkisebb négyzetek módszere szerint k értékét úgy kell megválasztani, hogy φ-nek legyen minimuma (19) vagy , (20) A számítás azt mutatja, hogy a k értékének meghatározásánál a négyzetes közép hiba egyenlő ahol n a mérések száma. Nézzünk most egy kicsit nehezebb esetet, amikor a pontoknak meg kell felelniük a képletnek y = a + bx (egy egyenes, amely nem megy át az origón). A feladat az a és b legjobb értékeinek megtalálása a rendelkezésre álló x i, y i értékkészletből. Állítsuk össze ismét a φ másodfokú alakot, amely egyenlő az x i, y i pontok egyenestől való eltérésének négyzetes összegével ; . . és keresse meg a és b azon értékét, amelyre φ-nek van minimuma (21) Ezen egyenletek együttes megoldása adja (23) A és b meghatározásának négyzetes középhibája egyenlő .  (24) A mérési eredmények ezzel a módszerrel történő feldolgozásakor célszerű az összes adatot egy táblázatban összesíteni, amelyben a (19)(24) képletekben szereplő összes mennyiség előzetesen kiszámításra kerül. E táblázatok formáit az alábbi példákban adjuk meg. 1. példa Az ε = M/J (az origón áthaladó egyenes) forgómozgás dinamikájának alapegyenletét tanulmányoztuk. Az M pillanat különböző értékeinél egy bizonyos test ε szöggyorsulását mérték. Meg kell határozni ennek a testnek a tehetetlenségi nyomatékát. Az erőnyomaték és a szöggyorsulás mérési eredményeit a második és harmadik oszlop tartalmazza. 5. táblázat n M, N m ε, s -1 M 2 M ε ε - kM (ε - kM) 2 1 1.44 0.52 2.0736 0.7488 0.039432 0.001555 2 3.12 1.06 9.7344 3.3072 0.018768 0.000352 3 4.59 1.45 21.0681 6.6555 -0.08181 0.006693 4 5.90 1.92 34.81 11.328 -0.049 0.002401 5 7.45 2.56 55.5025 19.072 0.073725 0.005435 ∑ – – 123.1886 41.1115 – 0.016436 A (19) képlet segítségével meghatározzuk: . A négyzetes hiba meghatározásához a (20) képletet használjuk. 0.005775kg-1 · m -2 . A (18) képlet szerint megvan ; . S J = (2,996 0,005775)/0,3337 = 0,05185 kg m2. Miután beállítottuk a megbízhatóságot P = 0,95-re, a Student-együtthatók táblázatát használva n = 5-re, t = 2,78-at kapunk, és meghatározzuk az abszolút hibát ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2. Írjuk az eredményeket a következő alakba: J = (3,0 ± 0,2) kg m2; 2. példa Számítsuk ki a fémellenállás hőmérsékleti együtthatóját a legkisebb négyzetek módszerével. Az ellenállás lineárisan függ a hőmérséklettől Rt = R 0 (1 + α t°) = R 0 + R 0 α t°. A szabad tag határozza meg az R 0 ellenállást 0 ° C hőmérsékleten, a meredekségi együttható pedig az α hőmérsékleti együttható és az R 0 ellenállás szorzata. A mérések és számítások eredményeit a táblázat tartalmazza ( lásd a 6. táblázatot). 6. táblázat n t°, s r, Ohm t-¯t (t-¯t) 2 (t-¯t)r r - bt - a (r - bt - a) 2 .10 -6 1 23 1.242 -62.8333 3948.028 -78.039 0.007673 58.8722 2 59 1.326 -26.8333 720.0278 -35.581 -0.00353 12.4959 3 84 1.386 -1.83333 3.361111 -2.541 -0.00965 93.1506 4 96 1.417 10.16667 103.3611 14.40617 -0.01039 107.898 5 120 1.512 34.16667 1167.361 51.66 0.021141 446.932 6 133 1.520 47.16667 2224.694 71.69333 -0.00524 27.4556 ∑ 515 8.403 – 8166.833 21.5985 – 746.804 ∑/n 85.83333 1.4005 – – – – – A (21), (22) képletek segítségével meghatározzuk R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm. Keressünk egy hibát az α definíciójában. Mivel , akkor a (18) képlet szerint: . A (23), (24) képletekkel megvan ; 0.014126 Ohm. Miután a megbízhatóságot P = 0,95-re állítottuk, a Student-együtthatók táblázatát használva n = 6-ra, azt találjuk, hogy t = 2,57, és meghatározzuk az abszolút hibát Δα = 2,57 0,000132 = 0,000338 fok -1. α = (23 ± 4) 10 -4 jégeső-1 P = 0,95-nél. 3. példa Meg kell határozni a lencse görbületi sugarát a Newton-gyűrűk segítségével. Megmértük a Newton-gyűrűk r m sugarát, és meghatároztuk ezeknek az m gyűrűknek a számát. A Newton-gyűrűk sugarai az R lencse görbületi sugarához és a gyűrűszámhoz kapcsolódnak az egyenlet alapján r 2 m = mλR - 2d 0 R, ahol d 0 a lencse és a síkkal párhuzamos lemez közötti rés vastagsága (vagy a lencse deformációja), λ a beeső fény hullámhossza. λ = (600 ± 6) nm; r 2 m = y; m = x; λR = b; -2d 0 R = a, akkor az egyenlet alakot vesz fel Nézzünk most egy kicsit nehezebb esetet, amikor a pontoknak meg kell felelniük a képletnek. . A mérések és számítások eredményei bekerülnek 7. táblázat. 7. táblázat n x = m y = r 2, 10 -2 mm 2 m -¯ m (m -¯m) 2 (m -¯ m)y y - bx - a, 10 -4 (y - bx - a) 2 , 10 -6 1 1 6.101 -2.5 6.25 -0.152525 12.01 1.44229 2 2 11.834 -1.5 2.25 -0.17751 -9.6 0.930766 3 3 17.808 -0.5 0.25 -0.08904 -7.2 0.519086 4 4 23.814 0.5 0.25 0.11907 -1.6 0.0243955 5 5 29.812 1.5 2.25 0.44718 3.28 0.107646 6 6 35.760 2.5 6.25 0.894 3.12 0.0975819 ∑ 21 125.129 – 17.5 1.041175 – 3.12176 ∑/n 3.5 20.8548333 – – – – – Előző cikk: Mekkora a fénysebesség Következő cikk: Harmonikus rezgések Az oszcillációs frekvencia fizikai képlete © 2015 . Az oldalról | Kapcsolatok | Oldaltérkép