Gradiens módszer. A legegyszerűbb gradiens módszer

Ez a témakör olyan műveletekkel foglalkozik, mint a mátrixok összeadása és kivonása, mátrix szorzása számmal, mátrix szorzása mátrixszal és mátrix transzponálása. Az ezen az oldalon használt összes szimbólum az előző témakörből származik.

Mátrixok összeadása és kivonása.

A $A_(m\xn)=(a_(ij))$ és $B_(m\x n)=(b_(ij))$ mátrixok $A+B$ összegét $C_(m) mátrixnak nevezzük. \times n) =(c_(ij))$, ahol $c_(ij)=a_(ij)+b_(ij)$ minden $i=\overline(1,m)$ és $j=\overline( 1,n) $.

Hasonló definíciót vezetünk be a mátrixok különbségére:

A $A-B$ $A_(m\times n)=(a_(ij))$ és $B_(m\times n)=(b_(ij))$ mátrixok különbsége a $C_(m\times n)=( c_(ij))$, ahol $c_(ij)=a_(ij)-b_(ij)$ minden $i=\overline(1,m)$ és $j=\overline(1, n)$.

Magyarázat a $i=\overline(1,m)$ bejegyzéshez: show\hide

A "$i=\overline(1,m)$" jelölés azt jelenti, hogy a $i$ paraméter 1 és m között változik. Például a $i=\overline(1,5)$ jelölés azt jelzi, hogy a $i$ paraméter az 1, 2, 3, 4, 5 értékeket veszi fel.

Érdemes megjegyezni, hogy az összeadási és kivonási műveletek csak azonos méretű mátrixokra vannak definiálva. Általában a mátrixok összeadása és kivonása olyan műveletek, amelyek intuitívan egyértelműek, mert lényegében csak a megfelelő elemek összegzését vagy kivonását jelentik.

1. számú példa

Három mátrixot adunk meg:

$$ A=\left(\begin(array) (cccc) -1 & -2 & 1 \\ 5 & 9 & -8 \end(array) \right)\;\; B=\left(\begin(array) (cccc) 10 & -25 & 98 \\ 3 & 0 & -14 \end(array) \right); \;\; F=\left(\begin(array) (cc) 1 & 0 \\ -5 & 4 \end(array) \right). $$

Megtalálható a $A+F$ mátrix? Keresse meg a $C$ és a $D$ mátrixokat, ha $C=A+B$ és $D=A-B$.

Az $A$ mátrix 2 sort és 3 oszlopot tartalmaz (más szóval az $A$ mátrix mérete $2\x 3$), az $F$ mátrix pedig 2 sort és 2 oszlopot tartalmaz. A $A$ és $F$ mátrixok mérete nem egyezik, így nem tudjuk összeadni, pl. az $A+F$ művelet nincs definiálva ezekhez a mátrixokhoz.

A $A$ és $B$ mátrixok mérete megegyezik, i.e. mátrix adatok tartalmazzák egyenlő mennyiségben sorok és oszlopok, így az összeadási művelet alkalmazható rájuk.

$$ C=A+B=\left(\begin(array) (cccc) -1 & -2 & 1 \\ 5 & 9 & -8 \end(array) \right)+ \left(\begin(tömb) ) (cccc) 10 & -25 & 98 \\ 3 & 0 & -14 \end(array) \right)=\\= \left(\begin(array) (cccc) -1+10 & -2+( -25) & 1+98 \\ 5+3 & 9+0 & -8+(-14) \end(array) \right)= \left(\begin(array) (cccc) 9 & -27 & 99 \\ 8 & 9 & -22 \end(tömb) \jobbra) $$

Keressük meg a $D=A-B$ mátrixot:

$$ D=A-B=\left(\begin(array) (cccc) -1 & -2 & 1 \\ 5 & 9 & -8 \end(array) \right)- \left(\begin(array) ( ccc) 10 & -25 & 98 \\ 3 & 0 & -14 \end(array) \right)=\\= \left(\begin(array) (cccc) -1-10 & -2-(-25) ) & 1-98 \\ 5-3 & 9-0 & -8-(-14) \end(array) \right)= \left(\begin(array) (cccc) -11 & 23 & -97 \ \2 & 9 & 6 \end(tömb) \jobbra) $$

Válasz: $C=\left(\begin(array) (cccc) 9 & -27 & 99 \\ 8 & 9 & -22 \end(array) \right)$, $D=\left(\begin(array) (ccc) -11 & 23 & -97 \\ 2 & 9 & 6 \end(array) \right)$.

Egy mátrix szorzása egy számmal.

A $A_(m\times n)=(a_(ij))$ szorzata a $\alpha$ számmal a $B_(m\times n)=(b_(ij))$ mátrix, ahol $ b_(ij)= \alpha\cdot a_(ij)$ minden $i=\overline(1,m)$ és $j=\overline(1,n)$ esetén.

Egyszerűen fogalmazva, egy mátrixot egy bizonyos számmal megszorozni azt jelenti, hogy egy adott mátrix minden elemét megszorozzuk ezzel a számmal.

2. példa

A mátrix adott: $ A=\left(\begin(array) (cccc) -1 & -2 & 7 \\ 4 & 9 & 0 \end(array) \right)$. Keresse meg a $3\cdot A$, $-5\cdot A$ és $-A$ mátrixokat.

$$ 3\cdot A=3\cdot \left(\begin(tömb) (cccc) -1 & -2 & 7 \\ 4 & 9 & 0 \end(tömb) \right) =\left(\begin( tömb) (ccc) 3\cdot(-1) & 3\cdot(-2) & 3\cdot 7 \\ 3\cdot 4 & 3\cdot 9 & 3\cdot 0 \end(array) \right)= \left(\begin(array) (ccc) -3 & -6 & 21 \\ 12& 27 & 0 \end(array) \right).\\ -5\cdot A=-5\cdot \left(\begin (tömb) (cccc) -1 & -2 & 7 \\ 4 & 9 & 0 \end(array) \right) =\left(\begin(array) (cccc) -5\cdot(-1) & - 5\cdot(-2) & -5\cdot 7 \\ -5\cdot 4 & -5\cdot 9 & -5\cdot 0 \end(array) \right)= \left(\begin(array) ( ccc) 5 & 10 & -35 \\ -20 & -45 & 0 \end(tömb) \jobbra). $$

A $-A$ jelölés a $-1\cdot A$ rövidített jelölése. Azaz a $-A$ megtalálásához meg kell szorozni a $A$ mátrix összes elemét (-1)-gyel. Ez lényegében azt jelenti, hogy a $A$ mátrix összes elemének előjele az ellenkezőjére változik:

$$ -A=-1\cdot A=-1\cdot \left(\begin(array) (cccc) -1 & -2 & 7 \\ 4 & 9 & 0 \end(array) \right)= \ left(\begin(array) (ccc) 1 & 2 & -7 \\ -4 & -9 & 0 \end(array) \right) $$

Válasz: $3\cdot A=\left(\begin(array) (cccc) -3 & -6 & 21 \\ 12& 27 & 0 \end(array) \right);\; -5\cdot A=\left(\begin(tömb) (cccc) 5 & 10 & -35 \\ -20 & -45 & 0 \end(array) \right);\; -A=\left(\begin(array) (cccc) 1 & 2 & -7 \\ -4 & -9 & 0 \end(array) \right)$.

Két mátrix szorzata.

Ennek a műveletnek a meghatározása nehézkes és első pillantásra nem egyértelmű. Ezért először leszögezem általános meghatározás, majd részletesen megvizsgáljuk, mit jelent, és hogyan kell vele dolgozni.

A $A_(m\szer n)=(a_(ij))$ szorzata a $B_(n\szor k)=(b_(ij))$ mátrix a $C_(m\szor k )=(c_( ij))$, amelyhez minden elem $c_(ij)$ egyenlő az összeggel releváns művek elemei az i-edik a $A$ mátrix sorai a $B$ mátrix j-edik oszlopának elemeihez: $$c_(ij)=\sum\limits_(p=1)^(n)a_(ip)b_(pj), \ ;\; i=\overline(1,m), j=\overline(1,n).$$

Nézzük meg a mátrixszorzást lépésről lépésre egy példa segítségével. Azonban azonnal meg kell jegyezni, hogy nem minden mátrix szorozható. Ha meg akarjuk szorozni az $A$ mátrixot a $B$ mátrixszal, akkor először meg kell győződnünk arról, hogy az $A$ mátrix oszlopainak száma megegyezik a $B$ mátrix sorainak számával (az ilyen mátrixokat gyakran ún. egyeztetett). Például a $A_(5\x 4)$ mátrix (a mátrix 5 sort és 4 oszlopot tartalmaz) nem szorozható meg a $F_(9\x 8)$ mátrixszal (9 sor és 8 oszlop), mivel a szám az $A $ mátrix oszlopainak száma nem egyenlő az $F$ mátrix sorainak számával, azaz. 4 $\seq 9 $. De meg lehet szorozni a $A_(5\x 4)$ mátrixot a $B_(4\x 9)$ mátrixszal, mivel a $A$ mátrix oszlopainak száma megegyezik a $ mátrix sorainak számával B$. Ebben az esetben a $A_(5\x4)$ és $B_(4\x 9)$ mátrixok szorzata a $C_(5\x 9)$ mátrix lesz, amely 5 sort és 9 oszlopot tartalmaz:

3. példa

Adott mátrixok: $ A=\left(\begin(array) (cccc) -1 & 2 & -3 & 0 \\ 5 & 4 & -2 & 1 \\ -8 & 11 & -10 & -5 \end (tömb) \right)$ és $ B=\left(\begin(array) (cc) -9 & 3 \\ 6 & 20 \\ 7 & 0 \\ 12 & -4 \end(array) \right) $. Keresse meg a $C=A\cdot B$ mátrixot.

Először azonnal határozzuk meg a $C$ mátrix méretét. Mivel az $A$ mátrix mérete $3\x4$, és a $B$ mátrix mérete $4\x2$, akkor a $C$ mátrix mérete: $3\x 2$:

Tehát a $A$ és $B$ mátrixok szorzatának eredményeként a $C$ mátrixot kell kapnunk, amely három sorés két oszlop: $ C=\left(\begin(array) (cc) c_(11) & c_(12) \\ c_(21) & c_(22) \\ c_(31) & c_(32) \ end(tömb)\jobbra)$. Ha az elemek kijelölése kérdéseket vet fel, akkor nézze meg az előző témát: „A mátrixok típusai”, melynek elején a mátrixelemek jelölése olvasható. Célunk: megtalálni a $C$ mátrix összes elemének értékét.

Kezdjük a $c_(11)$ elemmel. A $c_(11)$ elem megszerzéséhez meg kell találni a $A$ mátrix első sora és a $B$ mátrix első oszlopa elemeinek szorzatának összegét:

Magának a $c_(11)$ elemnek a megtalálásához meg kell szorozni a $A$ mátrix első sorának elemeit a $B$ mátrix első oszlopának megfelelő elemeivel, azaz. az első elemet az elsőhöz, a másodikat a másodikhoz, a harmadikat a harmadikhoz, a negyediket a negyedikhez. Összefoglaljuk a kapott eredményeket:

$$ c_(11)=-1\cdot (-9)+2\cdot 6+(-3)\cdot 7 + 0\cdot 12=0. $$

Folytassuk a megoldást és keressük meg a $c_(12)$-t. Ehhez meg kell szoroznia a $A$ mátrix első sorának és a $B$ mátrix második oszlopának az elemeit:

Az előzőhöz hasonlóan nálunk is van:

$$ c_(12)=-1\cdot 3+2\cdot 20+(-3)\cdot 0 + 0\cdot (-4)=37. $$

A $C$ mátrix első sorának minden eleme megtalálható. Térjünk át a második sorra, amely a $c_(21)$ elemmel kezdődik. Ennek megtalálásához meg kell szoroznia a $A$ mátrix második sorának és a $B$ mátrix első oszlopának elemeit:

$$ c_(21)=5\cdot (-9)+4\cdot 6+(-2)\cdot 7 + 1\cdot 12=-23. $$

A következő $c_(22)$ elemet úgy találjuk meg, hogy a $A$ mátrix második sorának elemeit megszorozzuk a $B$ mátrix második oszlopának megfelelő elemeivel:

$$ c_(22)=5\cdot 3+4\cdot 20+(-2)\cdot 0 + 1\cdot (-4)=91. $$

A $c_(31)$ meghatározásához szorozza meg a $A$ mátrix harmadik sorának elemeit a $B$ mátrix első oszlopának elemeivel:

$$ c_(31)=-8\cdot (-9)+11\cdot 6+(-10)\cdot 7 + (-5)\cdot 12=8. $$

És végül a $c_(32)$ elem megtalálásához meg kell szoroznia a $A$ mátrix harmadik sorának elemeit a $B$ mátrix második oszlopának megfelelő elemeivel:

$$ c_(32)=-8\cdot 3+11\cdot 20+(-10)\cdot 0 + (-5)\cdot (-4)=216. $$

A $C$ mátrix összes eleme megtalálható, csak annyit kell írni, hogy $C=\left(\begin(array) (cc) 0 & 37 \\ -23 & 91 \\ 8 & 216 \end( tömb) \jobbra)$ . Vagy hogy teljes egészében írjuk le:

$$ C=A\cdot B =\left(\begin(tömb) (cccc) -1 & 2 & -3 & 0 \\ 5 & 4 & -2 & 1 \\ -8 & 11 & -10 & - 5 \end(tömb) \jobbra)\cdot \left(\begin(tömb) (cc) -9 & 3 \\ 6 & 20 \\ 7 & 0 \\ 12 & -4 \end(tömb) \jobbra) =\left(\begin(array) (cc) 0 & 37 \\ -23 & 91 \\ 8 & 216 \end(array) \right). $$

Válasz: $C=\left(\begin(array) (cc) 0 & 37 \\ -23 & 91 \\ 8 & 216 \end(array) \right)$.

Egyébként sokszor nincs ok arra, hogy az eredménymátrix egyes elemeinek helyét részletesen leírjuk. Kis méretű mátrixok esetén ezt teheti:

Azt is érdemes megjegyezni, hogy a mátrixszorzás nem kommutatív. Ez azt jelenti, hogy be általános eset$A\cdot B\neq B\cdot A$. Csak bizonyos típusú mátrixokhoz, amelyek ún megváltoztatható(vagy ingázás), a $A\cdot B=B\cdot A$ egyenlőség igaz. Pontosan a szorzás nem kommutativitásán alapul, hogy pontosan meg kell jelölnünk, hogyan szorozzuk meg a kifejezést egy adott mátrixszal: a jobb vagy a bal oldalon. Például a „szorozzuk meg a $3E-F=Y$ egyenlőség mindkét oldalát a jobb oldali $A$ mátrixszal” kifejezés azt jelenti, hogy a következő egyenlőséget szeretné megkapni: $(3E-F)\cdot A=Y\cdot A$.

A $A_(m\x n)=(a_(ij))$ mátrixhoz képest transzponálva a $A_(n\x m)^(T)=(a_(ij)^(T))$, olyan elemekre, amelyek $a_(ij)^(T)=a_(ji)$.

Egyszerűen fogalmazva, egy transzponált $A^T$ mátrix eléréséhez ki kell cserélni az eredeti $A$ mátrix oszlopait a megfelelő sorokra ennek az elvnek megfelelően: volt egy első sor - lesz egy első oszlop. ; volt egy második sor - lesz egy második oszlop; volt egy harmadik sor - lesz egy harmadik oszlop és így tovább. Például keressük meg a transzponált mátrixot a $A_(3\x 5)$ mátrixba:

Ennek megfelelően, ha az eredeti mátrix mérete $3\x 5 $ volt, akkor a transzponált mátrix mérete $5\x 3 $.

A mátrixokon végzett műveletek néhány tulajdonsága.

Itt feltételezzük, hogy a $\alpha$, $\beta$ néhány szám, a $A$, $B$, $C$ pedig mátrixok. Az első négy tulajdonságnál neveket jelöltem meg, a többit az első négy analógiájával lehet megnevezni.

$A+B=B+A$ (összeadás kommutativitása)
$A+(B+C)=(A+B)+C$ (összeadás asszociativitása)
$(\alpha+\beta)\cdot A=\alpha A+\beta A$ (a mátrixszal való szorzás eloszlása a számok összeadása tekintetében)
$\alpha\cdot(A+B)=\alpha A+\alpha B$ (a számmal való szorzás megoszlása a mátrixösszeadáshoz viszonyítva)
$A(BC)=(AB)C$
$(\alpha\beta)A=\alpha(\beta A)$
$A\cdot (B+C)=AB+AC$, $(B+C)\cdot A=BA+CA$.
$A\cdot E=A$, $E\cdot A=A$, ahol $E$ a megfelelő rendelés azonossági mátrixa.
$A\cdot O=O$, $O\cdot A=O$, ahol $O$ - nulla mátrix megfelelő méretű.
$\left(A^T \jobb)^T=A$
$(A+B)^T=A^T+B^T$
$(AB)^T=B^T\cdot A^T$
$\left(\alpha A \right)^T=\alpha A^T$

A következő részben megvizsgáljuk a mátrix nemnegatív egész hatványra emelésének műveletét, és olyan példákat is megoldunk, amelyekben több műveletet is el kell végezni a mátrixokon.

1. év, felsőbb matematika, tanul mátrixokés a rájuk vonatkozó alapvető műveletek. Itt rendszerezzük a mátrixokkal végrehajtható alapműveleteket. Hol kezdjem a mátrixokkal való ismerkedést? Természetesen a legegyszerűbb dolgoktól - definícióktól, alapfogalmaktól és egyszerű műveletektől. Biztosítjuk Önöket, hogy a mátrixokat mindenki megérti, aki legalább egy kis időt szán rájuk!

Mátrix definíció

Mátrix- Ezt téglalap alakú asztal elemeket. Nos, mi van ha egyszerű nyelven– számtáblázat.

A mátrixokat általában nagybetűkkel jelölik latin betűkkel. Például mátrix A , mátrix B stb. Mátrixok lehetnek különböző méretű: téglalap alakú, négyzet alakú, vannak sormátrixok és oszlopmátrixok is, amelyeket vektoroknak nevezünk. A mátrix méretét a sorok és oszlopok száma határozza meg. Például írjunk téglalap alakú mátrix méret m tovább n , Ahol m – sorok száma, és n - oszlopok száma.

Tételek, amelyekhez i=j (a11, a22, .. ) alkotják a mátrix főátlóját, és diagonálisnak nevezzük.

Mit lehet csinálni a mátrixokkal? Összeadás/Kivonás, szorozzuk meg egy számmal, szaporodnak egymás között, átültetni. Most a mátrixokkal végzett összes alapvető műveletről sorrendben.

Mátrix összeadás és kivonás műveletek

Azonnal figyelmeztetjük, hogy csak azonos méretű mátrixokat adhat hozzá. Az eredmény egy azonos méretű mátrix lesz. A mátrixok összeadása (vagy kivonása) egyszerű - csak össze kell adnia a megfelelő elemeket . Mondjunk egy példát. Végezzünk el két A és B mátrix összeadását, amelyek mérete kettő-kettő.

A kivonás analógiával történik, csak ellenkező előjellel.

Tovább tetszőleges szám Bármilyen mátrixot meg lehet szorozni. Ezt csináld meg, minden elemét meg kell szorozni ezzel a számmal. Például szorozzuk meg az első példa A mátrixát 5-tel:

Mátrixszorzási művelet

Nem minden mátrix szorozható össze. Például két mátrixunk van - A és B. Csak akkor szorozhatók meg egymással, ha az A mátrix oszlopainak száma megegyezik a B mátrix sorainak számával. Ebben az esetben a kapott mátrix minden egyes eleme, amely az i-edik sorban helyezkedik el és j. oszlop, egyenlő lesz a megfelelő elemek szorzatainak összegével i-edik sor az első tényező és a második j-edik oszlopa. Az algoritmus megértéséhez írjuk fel, hogyan szorozunk két négyzetmátrixot:

És egy példa vele valós számok. Szorozzuk meg a mátrixokat:

Mátrix transzponálási művelet

A mátrixtranszpozíció olyan művelet, amelyben a megfelelő sorokat és oszlopokat felcserélik. Például transzponáljuk az A mátrixot az első példából:

Mátrix meghatározó

A determináns vagy determináns a lineáris algebra egyik alapfogalma. Valamikor régen az emberek lineáris egyenletekkel álltak elő, és ezek után egy determinánst kellett kitalálniuk. Végül csak rajtad múlik, hogy mindezzel foglalkozz, szóval, az utolsó lökés!

A determináns egy numerikus jellemző négyzetmátrix, amely sok probléma megoldásához szükséges.
A legegyszerűbb négyzetmátrix determinánsának kiszámításához ki kell számítania a fő- és másodlagos átló elemeinek szorzatai közötti különbséget.

Egy elsőrendű, azaz egy elemből álló mátrix determinánsa egyenlő ezzel az elemmel.

Mi van, ha a mátrix háromszor három? Ez nehezebb, de megoldható.

Egy ilyen mátrixnál a determináns értéke egyenlő a főátló elemei és a főátlóval párhuzamos lapú háromszögeken fekvő elemek szorzatának összegével, amelyből a főátló szorzata. a másodlagos átló elemeit és a háromszögeken fekvő elemek szorzatát a párhuzamos másodlagos átló lapjával kivonjuk.

Szerencsére a mátrixok meghatározói számítanak nagy méretek a gyakorlatban ritkán van rá szükség.

Itt megnéztük a mátrixok alapvető műveleteit. Természetesen be való élet soha nem találkozhatsz még csak a jelével sem mátrix rendszer egyenletek vagy fordítva – sokkal többel kell szembenézniük összetett esetek amikor tényleg törnie kell az agyát. Ilyen esetekre léteznek professzionális hallgatói szolgáltatások. Kérjen segítséget, szerezzen minőséget és részletes megoldás, élvezze tanulmányi sikereit és szabadidejét.

Gradiens módszerek

A korlátozás nélküli gradiens optimalizálási módszerek csak első deriváltokat használnak objektív funkcióés minden lépésben lineáris közelítési módszerek, azaz. a célfüggvényt minden lépésben az aktuális pontban lévő grafikonjának érintő hipersíkjával helyettesítjük.

Tovább k-edik szakasz gradiens módszereknél az Xk pontból az Xk+1 pontba való átmenetet a következő összefüggés írja le:

ahol k a lépés mérete, k az Xk+1-Xk irányú vektor.

Legmeredekebb süllyedési módszerek

Ezt a módszert először O. Cauchy vette figyelembe és alkalmazta a 18. században. Az ötlet egyszerű: az f(X) célfüggvény gradiense bármely pontban a függvény értékének legnagyobb növekedése irányába mutató vektor. Következésképpen az antigradiens a felé irányul legnagyobb csökkenés funkció és a legmeredekebb ereszkedés iránya. Az antigradiens (és a gradiens) merőleges az f(X) szintfelületre az X pontban. Ha bevezetjük az irányt (1.2)

akkor ez lesz a legmeredekebb ereszkedés iránya az Xk pontban.

Megkapjuk az Xk-ről Xk+1-re való átmenet képletét:

Az antigradiens csak a süllyedés irányát adja meg, de a lépés nagyságát nem. Általában egy lépés nem ad minimum pontot, ezért a süllyedési eljárást többször kell alkalmazni. A minimális ponton a gradiens összes összetevője egyenlő nullával.

Valamennyi gradiens módszer a megfogalmazott gondolatot használja, és technikai részletekben különbözik egymástól: deriváltak számítása analitikus képlet vagy véges különbség közelítés segítségével; a lépésnagyság lehet állandó, bizonyos szabályok szerint változhat, vagy egydimenziós optimalizálási módszerek antigradiens irányú alkalmazása után választható, stb. stb.

Nem részletezzük, mert... A legmeredekebb ereszkedési módszer általában nem ajánlott komoly optimalizálási eljárásként.

Ennek a módszernek az egyik hátránya, hogy bármely álló ponthoz konvergál, beleértve a nyeregpontot is, ami nem lehet megoldás.

De a legfontosabb az általános esetben a legmeredekebb ereszkedés nagyon lassú konvergenciája. A lényeg, hogy a leszállás helyi értelemben „leggyorsabb”. Ha a keresési hipertér erősen megnyúlt („szurdok”), akkor az antigradiens szinte merőlegesen irányul a „szakadék” aljára, azaz. a legjobb irány a minimum eléréséhez. Ebben az értelemben közvetlen fordítás angol kifejezés„legmeredekebb ereszkedés”, azaz. a legmeredekebb lejtőn való leereszkedés jobban megfelel a dolgok állásának, mint az orosz nyelven elfogadott „leggyorsabb” kifejezés szakirodalom. Ebben a helyzetben az egyik kiút a második parciális származékok által biztosított információk felhasználása. Egy másik kiút a változók skálájának megváltoztatása.

lineáris közelítési derivált gradiens

Fletcher-Reeves konjugált gradiens módszer

A konjugált gradiens módszernél a keresési irányok sorozata épül fel, amelyek a legmeredekebb süllyedés aktuális irányának és a korábbi keresési irányoknak lineáris kombinációi, pl.

Ezenkívül az együtthatók úgy vannak megválasztva, hogy a keresési irányok konjugáltak legyenek. Az bebizonyosodott

és ez egy nagyon értékes eredmény, amely lehetővé teszi egy gyors és hatékony optimalizálási algoritmus felépítését.

Fletcher-Reeves algoritmus

1. X0-ban számítjuk ki.

2. A k-adik lépésben egydimenziós irányban történő kereséssel megtaláljuk az f(X) minimumot, amely meghatározza az Xk+1 pontot.

3. f(Xk+1) és kiszámítjuk.
4. Az irányt a kapcsolat határozza meg:

5. Az (n+1)-edik iteráció után (tehát ha k=n) újraindul: X0=Xn+1 tétele történik, és az 1. lépésre való áttérés történik.
6. Az algoritmus leáll, amikor

ahol egy tetszőleges állandó.

A Fletcher-Reeves algoritmus előnye, hogy nem igényel mátrix inverziót és számítógép memóriát takarít meg, hiszen nincs szüksége a newtoni módszerekben használt mátrixokra, ugyanakkor közel olyan hatékony, mint a kvázi-newtoni algoritmusok. Mert a keresési irányok kölcsönösen konjugáltak, akkor a másodfokú függvény legfeljebb n lépésben lesz minimalizálva. Általános esetben újraindítást használnak, amely lehetővé teszi az eredmény elérését.

A Fletcher-Reeves algoritmus érzékeny az egydimenziós keresés pontosságára, ezért használni kell az esetlegesen előforduló kerekítési hibák kiküszöbölésére. Ezenkívül az algoritmus meghibásodhat olyan helyzetekben, amikor a Hessian rosszul kondicionálódik. Az algoritmus nem garantálja a konvergenciát mindig és mindenhol, bár a gyakorlat azt mutatja, hogy az algoritmus szinte mindig hoz eredményt.

Newtoni módszerek

A legmeredekebb ereszkedésnek megfelelő keresési irány ehhez kapcsolódik lineáris közelítés cél funkció. A másodlagos deriváltokat használó módszerek a célfüggvény másodfokú közelítéséből származnak, azaz a függvény Taylor-sorozatban történő bővítésekor a harmadik és magasabb rendű tagokat elvetik.

hol van a hesseni mátrix.

A jobb oldal minimumát (ha van) ugyanott érjük el, ahol a minimumot másodfokú forma. Írjuk fel a képletet a keresési irány meghatározásához:

A minimumot ekkor érjük el

Az olyan optimalizáló algoritmust, amelyben a keresési irányt ebből a kapcsolatból határozzuk meg, Newton-módszernek, az irányt pedig newtoni iránynak nevezzük.

Az önkényes minimumának megtalálásának problémáiban másodfokú függvény második derivált pozitív mátrixával a Newton-módszer egy iterációban ad megoldást, függetlenül a kiindulási pont megválasztásától.

A newtoni módszerek osztályozása

Maga a Newton-módszer abból áll, hogy egyszer alkalmazzuk a newtoni irányt egy másodfokú függvény optimalizálására. Ha a függvény nem másodfokú, akkor a következő tétel igaz.

Tétel 1.4. Ha egy általános alakú f nemlineáris függvény Hess-mátrixa az X* minimum pontban pozitív határozott, a kezdőpontot X*-hez kellően közel választjuk meg és a lépéshosszokat helyesen választjuk meg, akkor Newton módszere másodfokúval konvergál X*-hez. mérték.

A Newton-módszert tekintjük referenciamódszernek, minden kidolgozott optimalizálási eljárást összehasonlítunk vele. Newton módszere azonban csak pozitív határozott és jól kondicionált Hess-mátrix esetén hatásos (determinánsának szignifikánsnak kell lennie Nulla felett, pontosabban a legnagyobb és a legkisebb aránya sajátértékek közel kell lennie az egységhez). Ennek a hátránynak a kiküszöbölésére használja módosított módszerek Newton, amikor csak lehetséges, Newtoni irányokat használ, és csak akkor tér el, ha szükséges.

A Newton-módszer módosításainak általános elve a következő: minden iterációnál először létrejön egy bizonyos pozitív határozott mátrix, amelyhez „asszociálunk”, majd kiszámítjuk a képlet segítségével.

Mivel ez pozitív határozott, akkor - szükségszerűen lesz a leszállás iránya. A szerkesztési eljárás úgy van megszervezve, hogy egybeessen a hesseni mátrixszal, ha pozitív határozott. Ezek az eljárások bizonyos mátrixbontásokon alapulnak.

A módszerek egy másik csoportja, amely gyakorlatilag nem alacsonyabb sebességű Newton módszerénél, a Hess-mátrix véges különbségek segítségével történő közelítésén alapul, mivel nem szükséges az optimalizáláshoz használni pontos értékek származékai. Ezek a módszerek akkor hasznosak, ha elemző számítás nehéz vagy egyszerűen lehetetlen. Az ilyen módszereket diszkrét Newton-módszereknek nevezzük.

A Newton-típusú módszerek hatékonyságának kulcsa a minimálisra csökkentett függvény görbületére vonatkozó információk figyelembevétele, amelyeket a Hess-mátrix tartalmaz, és lehetővé teszi a célfüggvény lokálisan pontos másodfokú modelljének felépítését. De lehetőség van egy függvény görbületére vonatkozó információkat gyűjteni és felhalmozni a gradiens változásának megfigyelése alapján a süllyedési iterációk során.

A megfelelő módszereket, amelyek egy nemlineáris függvény görbületének közelítésének lehetőségén alapulnak anélkül, hogy a Hess-mátrixot kifejezetten kialakítanák, kvázi-newtoni módszereknek nevezzük.

Megjegyzendő, hogy egy newtoni típusú (beleértve a kvázi-newtonit is) optimalizálási eljárás megalkotásakor figyelembe kell venni egy nyeregpont megjelenésének lehetőségét. Ebben az esetben a legjobb keresési irány vektora mindig a nyeregpont felé fog irányulni, ahelyett, hogy lefelé mozdulna el tőle.

Newton-Raphson módszer

Ez a módszer abból áll, hogy a nem kvadratikus függvények optimalizálásakor ismételten a newtoni irányt használják.

Alapvető iteratív képlet a többdimenziós optimalizáláshoz

Ebben a módszerben a relációból az optimalizálási irány kiválasztásakor használjuk

A valós lépéshossz a nem normalizált newtoni irányban van elrejtve.

Mivel ez a módszer nem igényli a célfüggvény értékét az aktuális pontban, ezért néha közvetett ill elemzési módszer optimalizálás. Az a képessége, hogy egyetlen számításban meghatározza a másodfokú függvény minimumát, első pillantásra rendkívül vonzónak tűnik. Ez az „egyszeri számítás” azonban jelentős költségeket igényel. Először is ki kell számítani n elsőrendű parciális deriváltot és n(n+1)/2 - másodrendűt. Ezenkívül a Hess-mátrixot meg kell fordítani. Ez körülbelül n3 számítási műveletet igényel. Ugyanolyan költség mellett a konjugált iránymódszerek vagy a konjugált gradiens módszerek körülbelül n lépést vehetnek igénybe, azaz. majdnem ugyanazt az eredményt elérni. Így a Newton-Raphson módszer iterációja másodfokú függvény esetén nem nyújt előnyt.

Ha a függvény nem másodfokú, akkor

- kiindulási irány már általánosságban véve nem jelzi igazi pont minimum, ami azt jelenti, hogy az iterációkat sokszor meg kell ismételni;
- egy egységnyi hosszúságú lépés a célfüggvény rosszabb értékű pontjához vezethet, és a keresés rossz irányt adhat, ha például a hesseni nem pozitív határozott;
- a hesseni kondicionálatlanná válhat, lehetetlenné téve megfordítását, i.e. a következő iteráció irányának meghatározása.

Maga a stratégia nem különbözteti meg, hogy melyik stacionárius ponthoz (minimum, maximum, nyeregpont) közeledik a keresés, és nem készülnek a célfüggvény értékeinek számításai, amelyek segítségével nyomon lehetne követni, hogy a függvény növekszik-e. Ez azt jelenti, hogy minden attól függ, hogy melyik vonzási zóna álló pont ez a keresés kiindulópontja. A Newton-Raphson stratégiát ritkán alkalmazzák önmagában, bármilyen módosítás nélkül.

Pearson módszerek

Pearson több olyan módszert is javasolt, amelyek az inverz Hess-t közelítik anélkül, hogy kifejezetten második deriváltokat számítanának, pl. az antigradiens irányváltozásainak megfigyelésével. Ebben az esetben konjugált irányokat kapunk. Ezek az algoritmusok csak részletekben térnek el egymástól. Mutatjuk azokat, akik a legtöbbet kapták széleskörű felhasználás alkalmazott területeken.

2. számú Pearson algoritmus.

Ebben az algoritmusban az inverz Hessianust a Hk mátrix közelíti, minden lépésben kiszámítva a képlet segítségével.

Mint kezdeti mátrix H0 tetszőleges pozitív határozott szimmetrikus mátrix.

Ez a Pearson-algoritmus gyakran vezet olyan helyzetekhez, amikor a Hk mátrix kondicionálatlanná válik, azaz oszcillálni kezd, oszcillálva a pozitív határozott és a nem pozitív határozott között, miközben a mátrix determinánsa közel van a nullához. Ennek elkerülése érdekében a mátrixot n lépésenként újra kell definiálni, H0-val egyenlővé tenni.

3. számú Pearson algoritmus.

Ebben az algoritmusban a Hk+1 mátrixot a képletből határozzuk meg

Hk+1 = Hk+

Az algoritmus által generált süllyedési pálya hasonló a Davidon-Fletcher-Powell algoritmus viselkedéséhez, de a lépések valamivel rövidebbek. Pearson ennek az algoritmusnak egy variációját is javasolta ciklikus mátrix-visszaállítással.

Projektív Newton-Raphson algoritmus

Pearson egy olyan algoritmus ötletét javasolta, amelyben a mátrixot a relációból számítják ki

H0=R0, ahol az R0 mátrix megegyezik az előző algoritmusok kezdeti mátrixaival.

Ha k az n független változók számának többszöröse, a Hk mátrixot az összegként kiszámított Rk+1 mátrix helyettesíti.

A Hk(f(Xk+1) - f(Xk)) mennyiség a gradiens növekményvektor (f(Xk+1) - f(Xk) vetülete, amely az előző lépésekben az összes gradiens növekményvektorra merőleges. Minden n lépés után Rk az inverz Hessian H-1(Xk) érték közelítése, így lényegében Newton-keresés történik (körülbelül).

Davidon-Fletcher-Powell módszer

Ennek a metódusnak más neve is van - változómetrikus módszer, kvázi-Newton módszer, mert mindkét megközelítést alkalmazza.

A Davidon-Fletcher-Powell (DFP) módszer a newtoni irányok használatán alapul, de nem igényli az inverz Hess-féle számítást minden lépésben.

A keresési irány a k lépésben az irány

ahol Hi egy pozitív határozott szimmetrikus mátrix, amely minden lépésben frissül, és a határértékben egyenlő lesz az inverz Hess-mátrixszal. Az identitásmátrixot általában H kezdeti mátrixnak választják. Az iteratív DFT eljárás a következőképpen ábrázolható:

1. A k lépésben van egy Xk pont és egy Hk pozitív határozott mátrix.
2. Válassza ki az új keresési irányt

3. Az irány mentén végzett egydimenziós keresés (általában köbös interpoláció) meghatározza a k értéket, ami minimalizálja a függvényt.

4. támaszkodik.

5. Bízik.

6. Elszánt. Ha Vk vagy elég kicsi, az eljárás véget ér.

7. Feltételezzük, hogy Uk = f(Xk+1) - f(Xk).
8. A Hk mátrix frissítése a képlet szerint történik

9. Növelje k eggyel, és térjen vissza a 2. lépéshez.

A módszer akkor hatékony a gyakorlatban, ha a gradiens számítások hibája kicsi, és a Hk mátrix nem válik kondicionálatlanná.

Az Ak mátrix biztosítja a Hk konvergenciáját a G-1-hez, a Bk mátrix biztosítja a Hk+1 pozitív meghatározottságát minden szakaszban, és kizárja a H0-t a határértékből.

Másodfokú függvény esetén

azok. A DFP-algoritmus konjugált irányokat használ.

A DFT módszer tehát a newtoni megközelítés gondolatait és a konjugált irányok tulajdonságait egyaránt felhasználja, és a másodfokú függvény minimalizálásakor legfeljebb n iterációban konvergál. Ha az optimalizált függvény alakja közel egy másodfokú függvényhez, akkor a DFT módszer a jó G-1 közelítésének köszönhetően hatásos (Newton-módszer). Ha a célfüggvény rendelkezik általános forma, akkor a DFT módszer hatékony a konjugált irányok alkalmazása miatt.

1. Mely állítások helytelenek? Danzigi módszer

Válasz: gradiensnek minősíthető

2. Az alábbi állítások közül melyik igaz:

Válasz: Az inkonzisztens kényszerrendszerrel rendelkező LP problémát nyitottnak nevezzük

3. A felsorolt módszerek közül melyek nem aktívak

Válasz: aranymetszés

4. Az alábbi állítások közül melyik igaz:

Válasz: feladat szállítási típus– lineáris programozási probléma speciális esete

5. Az alábbi állítások közül melyik igaz: Legkisebb négyzetek módszere

Válasz: végső soron az n rendszer megoldásán múlik lineáris egyenletek amikor az eredményeket n-edrendű polinomokkal közelítjük

6. Az alábbi módszerek közül melyik nem gradiens

Válasz: szimplex módszer (Nelder-Mead módszer)

7. A módszerek közül melyik teszi lehetővé egy multimodális függvény globális szélsőértékének meghatározását

Válasz: szkennel

8. A felsoroltak közül melyek a koordináta keresési módszerek

Válasz: érintő

9. Ellenőrizze a helyes állításokat!

Válasz: a brute force módszer nem használható a Gauss-Seidel eljárás szerinti extrémum megtalálásakor

10. Mondja ki az igaz állítást!

Válasz: a terv egy probléma bármilyen megvalósítható megoldása.

11. Mondja el a helytelen állítást!

Válasz: legalább egy sarokpontot tartalmazó sík konvex poliéder e poliéder referenciasíkjának nevezzük

12. Adja meg a helyes állítások számát!

Válasz: A transzport típusú problémák nem oldhatók meg Danzig módszerrel, mivel azok diszkrét programozási feladatokhoz tartoznak (1). Eredeti terv a szimplex módszerben azt kapjuk, hogy minden alapváltozó nulla (3)

13. Határozza meg a helyes állítást?

Válasz: az LP probléma alapvető megoldása degenerált, ha a szabad változók közül legalább az egyik nulla

14. Melyik helytelen az alábbiak közül:

Válasz: az egyenes bármely pontja két olyan pont konvex lineáris kombinációja, amelyeken keresztül ez az egyenes meghúzódik

15. Az alábbi állítások közül melyik igaz?

Válasz: Az utazó eladó probléma a diszkrét programozás területéhez tartozik.

16. Melyik igaz az alábbiak közül:

Válasz: Az egyik fő optimalizálási probléma a „dimenziós probléma”

17. Mi a helytelen a fenti állításokban?

Válasz: Ha egy LP feladat célfüggvénye több pontban elér egy szélsőértéket, akkor bármely pontban eléri ugyanazt az értéket, amely ezen pontok konvex lineáris kombinációja.

18. Melyik állítás helytelen az alábbi állítások közül?

Válasz: Az LP probléma megoldható az egyik tervről a másikra való rendezett átmenet eljárásával.

19. Melyik igaz az alábbiak közül?

Válasz: az LP probléma megvalósítható megoldásainak tartományán belül nem lehet szélsőség

20. Az alábbiak közül melyik hamis?

Válasz: Egy lineáris célfüggvény szélsőértékének megtalálása szimplex módszer be kell fejezni n-m iterációk, n- a probléma ismeretleneinek száma, m- általános korlátozások száma

6. előadás.

Gradiens módszerek nemlineáris programozási problémák megoldására.

Kérdések: 1. Általános jellemzők mód.

2. Gradiens módszer.

3. A legmeredekebb ereszkedés módja.

4. Frank-Fulff módszer.

5. Büntetés-függvények módszere.

1. A módszerek általános jellemzői.

A gradiens módszerek közelítő (iteratív) módszerek egy nemlineáris programozási probléma megoldására, és lehetővé teszik szinte bármilyen probléma megoldását. Ebben az esetben azonban helyi extrémumot határoznak meg. Ezért célszerű ezeket a módszereket használni olyan konvex programozási problémák megoldására, amelyekben minden lokális szélsőség egyben globális. A probléma megoldásának menete az, hogy egy bizonyos x (kezdeti) pontból kiindulva egy szekvenciális átmenetet hajtunk végre a gradF(x) irányába, ha a maximális pontot meghatározzuk, és –gradF(x) (antigradiens) irányába. , ha a minimum pontot meghatároztuk, akkor a pontig, amely a probléma megoldása. Ebben az esetben ez a pont lehet a megengedett értékek tartományán belül vagy annak határán.

A gradiens módszerek két osztályra (csoportra) oszthatók. Az első csoportba azok a módszerek tartoznak, amelyekben minden vizsgált pont a megengedett régióhoz tartozik. Ilyen módszerek a következők: gradiens módszer, legmeredekebb süllyedés, Frank-Wolfe stb. A második csoportba azok a módszerek tartoznak, amelyeknél a vizsgált pontok nem tartoznak a megengedett régióba. Gyakori ilyen módszer a büntetőfüggvények módszere. Minden büntetés-függvény módszer különbözik egymástól a „büntetés” meghatározásának módjában.

Az összes gradiens módszerben alkalmazott fő fogalom a függvény gradiensének fogalma, mint a függvény leggyorsabb növekedési iránya.

A gradiens módszerekkel történő megoldás meghatározásakor az iteratív folyamat addig folytatódik, amíg:

Vagy grad F(x*) = 0, (pontos megoldás);

Ahol
- két egymást követő pont,
- a megoldás pontosságát jellemző kis szám.

2. Gradiens módszer.

Képzeljünk el egy embert, aki egy szakadék lejtőjén áll, akinek le kell mennie (lefelé). A legtermészetesebb iránynak a legmeredekebb ereszkedés felé mutatkozik, i.e. irány (-grad F(x)). Az így létrejött stratégia, az ún gradiens módszer, lépések sorozata, amelyek mindegyike két műveletet tartalmaz:

a) a legnagyobb ereszkedés (emelkedés) irányának meghatározása;

b) a kiválasztott irányba haladva egy bizonyos lépéssel.

A megfelelő hangmagasság kiválasztása elengedhetetlen. Minél kisebb a lépés, annál pontosabb az eredmény, de további számítások. Különféle módosítások gradiens módszerés a lépés meghatározására szolgáló különféle módszerek alkalmazásából áll. Ha valamelyik lépésben az F(x) értéke nem csökkent, ez azt jelenti, hogy a minimumpontot „előzni” kell, akkor vissza kell térni az előző ponthoz, és csökkenteni kell a lépést, például felére .

Megoldási diagram.

érvényes régióhoz tartozó

3. Válassza a h lépést.

x (k+1) = x (k)

„-” - ha min.

5. F(x (k +1)) és:

Ha
, megoldást találtunk;

Megjegyzés. Ha grad F(x (k)) = 0, akkor a megoldás pontos lesz.

Példa. F(x) = -6x 1 + 2x 1 2 – 2x 1 x 2 + 2x 2 2
min,

x 1 + x 2 2.x 1 0, x 2 0,= 0,1.

3. A legmeredekebb ereszkedés módja.

A gradiens módszertől eltérően, amelyben a gradienst minden lépésben meghatározzák, a legmeredekebb ereszkedési módszernél a gradiens kiindulópontés a mozgás a talált irányba egyenlő lépésekben folytatódik, amíg a függvény értéke csökken (növekszik). Ha valamelyik lépésnél F(x) nőtt (csökkent), akkor az ebben az irányban történő mozgás megáll, az utolsó lépést teljesen vagy felére eltávolítjuk, és új gradiens értéket és új irányt számolunk.

Megoldási diagram.

1. Definíció: x 0 = (x 1,x 2,…,x n),

az elfogadható régióhoz tartozik,

és F(x 0), k = 0.

2. A grad F(x 0) vagy –gradF(x 0) definíciója.

3. Válassza a h lépést.

4. A következő pont meghatározása a képlet segítségével

x (k+1) = x (k) h grad F(x (k)), „+” - ha max,

„-” - ha min.

5. F(x (k +1)) és:

Ha
, megoldást találtunk;

Ha nem:

a) min keresésekor: - ha F(x (k +1))

Ha F(x (k +1)) >F(x (k)) – ugorjon a 2. lépésre;

b) max keresésekor: - ha F(x (k +1)) >F(x (k)) – ugorjon a 4. lépésre;

Ha F(x(k+1))

Megjegyzések: 1. Ha grad F(x (k)) = 0, akkor a megoldás pontos lesz.

2. A legmeredekebb ereszkedési módszer előnye az egyszerűség és

a számítások csökkentése, mivel a grad F(x) nem minden ponton kerül kiszámításra, ami

nagyszabású problémák esetén fontos.

3. Hátránya, hogy a lépéseknek kicsiknek kell lenniük, hogy ne

hiányzik az optimális pont.

Példa. F(x) = 3 x 1 – 0,2 x 1 2 + x 2 – 0,2 x 2 2
max,

x 1 + x 2 7, x 1 0,

x 1 + 2x 2 10, x 2 0.

4. Frank-Wolfe módszer.

A módszer egy nemlineáris célfüggvény optimalizálására szolgál lineáris megszorítások mellett. A vizsgált pont közelében a nemlineáris célfüggvényt lineáris függvénnyel helyettesítjük, és a probléma lineáris programozási feladatok szekvenciális megoldására redukálódik.

Megoldási diagram.

1. A megengedhető tartományhoz tartozó x 0 = (x 1,x 2,…,x n) és F(x 0), k = 0 meghatározása.

2. F(x (k)) grad definíciója.

3. Hozzon létre egy függvényt

(min – „-”; max – „+”).

4. A max(min)f(x) meghatározása kezdeti korlátozások mellett. Legyen ez a z(k) pont.

5. Az x (k +1) =x (k) + számítási lépés meghatározása (k) (z (k) –x (k)), ahol (k) – lépés, együttható, 0 1. (k) úgy van megválasztva, hogy az F(x) függvény értéke max (min) legyen az x pontban (k +1). Ehhez oldja meg az egyenletet
és válassza ki a legkisebb (legnagyobb) gyökeret, de 0 1.

6. Határozza meg az F(x (k +1)) értéket, és ellenőrizze a további számítások szükségességét:

Ha
vagy grad F(x (k +1)) = 0, akkor a megoldás megvan;

Ha nem, akkor folytassa a 2. lépéssel.

Példa. F(x) = 4x 1 + 10x 2 – x 1 2 – x 2 2
max,

x 1 + x 2 4 x 1 0,

x 2 2, x 2 0.

5. Büntetés-függvények módszere.

Legyen szükséges megtalálni F(x 1 ,x 2 ,…,x n)
max(perc),

g i (x 1 , x 2 ,…, x n) b i , i =
, x j 0, j = .

F és g i függvények – konvex vagy konkáv.

A büntetőfüggvény módszer ötlete, hogy megtaláljuk egy új Q(x) = F(x) + H(x) célfüggvény optimális értékét, amely az eredeti célfüggvény és valamilyen H(x) függvény összege. ), amelyet egy korlátozási rendszer határoz meg, és büntetőfüggvénynek nevezik. A büntetőfunkciók úgy vannak kialakítva, hogy biztosítsák a gyors visszatérést a megengedett területre, vagy az onnan való kilépés lehetetlenségét. A büntetésfüggvény módszer a feltételes szélsőségproblémát a feltétel nélküli szélsőséges feladatok sorozatának megoldására redukálja, ami egyszerűbb. Számos módja van a büntetés-függvény létrehozásának. Leggyakrabban így néz ki:

H(x) =
,