A véletlenszerű folyamatot Markovnak nevezzük, ha. Diszkrét Markov láncok

A Markov véletlenszerű folyamatait a kiváló orosz matematikusról, A.A. Markov (1856-1922), aki először kezdte el tanulmányozni a valószínűségi változók valószínűségi kapcsolatát, és megalkotta a „valószínűségi dinamikának” nevezhető elméletet. Ezt követően ennek az elméletnek az alapjai váltak kiindulóponttá általános elmélet véletlenszerű folyamatok, valamint olyan fontosak alkalmazott tudományok mint elmélet diffúziós folyamatok, megbízhatósági elmélet, elmélet sorban állás stb. Jelenleg a Markov-folyamatok elmélete és alkalmazásai széles körben használatosak különböző területeken olyan tudományok, mint a mechanika, fizika, kémia stb.

A matematikai apparátus viszonylagos egyszerűségének és tisztaságának köszönhetően a kapott megoldások nagy megbízhatósága és pontossága különös figyelmet Markov folyamatok operációkutatással és az optimális döntéshozatal elméletével foglalkozó szakemberektől vásárolt.

A fenti egyszerűség és érthetőség ellenére gyakorlati alkalmazása A Markov-láncok elmélete megköveteli néhány kifejezés és alapelv ismeretét, amelyeket a példák bemutatása előtt érdemes megvitatni.

Amint jeleztük, a Markov véletlen folyamatok a véletlen folyamatok (SP) speciális eseteire utalnak. A véletlenszerű folyamatok viszont a koncepción alapulnak véletlenszerű függvény(SF).

A véletlen függvény olyan függvény, amelynek értéke az argumentum bármely értékére valószínűségi változó(SV). Más szavakkal, az SF olyan függvénynek nevezhető, amely minden tesztnél valamilyen korábban ismeretlen formát ölt.

Ilyen példák az SF-re: feszültségingadozások elektromos áramkör, az autó sebessége egy sebességkorlátozott útszakaszon, egy alkatrész felületi egyenetlensége egy adott területen stb.

Általános szabály, hogy ha az SF argumentuma az idő, akkor egy ilyen folyamatot véletlennek neveznek. A véletlen folyamatoknak van egy másik meghatározása is, amely közelebb áll a döntéselmélethez. Ebben az esetben véletlenszerű folyamaton olyan folyamatot értünk, amely bármely fizikai, ill műszaki rendszer az idő vagy más érv szerint.

Könnyen belátható, hogy ha kijelölünk egy állapotot és ábrázolunk egy függőséget, akkor az ilyen függés véletlen függvény lesz.

A véletlenszerű folyamatokat az állapotok típusa és a t argumentum szerint osztályozzuk. Ebben az esetben a véletlen folyamatok lehetnek diszkrét vagy folytonos állapotúak vagy időbeliek.

A véletlenszerű folyamatok osztályozására vonatkozó fenti példákon kívül van még egy fontos tulajdon. Ez a tulajdonság a véletlenszerű folyamatok állapotai közötti valószínűségi kapcsolatot írja le. Tehát például, ha egy véletlenszerű folyamatban a rendszer minden következő állapotba való átmenetének valószínűsége csak az előző állapottól függ, akkor az ilyen folyamatot utóhatás nélküli folyamatnak nevezzük.

Először is jegyezzük meg, hogy a diszkrét állapotú és időbeli véletlenszerű folyamatot véletlen sorozatnak nevezzük.

Ha egy véletlen sorozatnak Markov tulajdonsága van, akkor azt Markov-láncnak nevezzük.

Másrészt, ha egy véletlenszerű folyamatban az állapotok diszkrétek, az idő folyamatos és az utóhatás tulajdonság megmarad, akkor egy ilyen véletlenszerű folyamatot Markov-folyamatnak nevezünk folytonos idejű folyamatnak.

Egy Markov véletlen folyamatot homogénnek mondunk, ha az átmenet valószínűsége állandó marad a folyamat során.

Egy Markov-lánc adottnak tekinthető, ha két feltétel adott.

1. Van egy készlet átmeneti valószínűségek mátrix formában:

2. Létezik a kezdeti valószínűségek vektora

a rendszer kezdeti állapotának leírása.

A mátrixforma mellett a Markov-lánc modellt irányított súlyozott gráfként is ábrázolhatjuk (1. ábra).

Rizs. 1

Egy Markov-lánc rendszer állapotainak halmaza, bizonyos módon a rendszer további viselkedését figyelembe véve osztályozzák.

1. Irreverzibilis készlet (2. ábra).

2. ábra.

Nem visszatérő halmaz esetén ezen halmazon belül bármilyen átmenet lehetséges. A rendszer elhagyhatja ezt a készletet, de nem térhet vissza hozzá.

2. Visszatérő készlet (3. ábra).

Rizs. 3.

Ebben az esetben a halmazon belüli átmenetek is lehetségesek. A rendszer beléphet ebbe a halmazba, de nem hagyhatja el.

3. Ergodic készlet (4. kép).

Rizs. 4.

Ergodikus halmaz esetén a halmazon belüli átmenetek lehetségesek, de a halmazból és a halmazba való átmenetek kizártak.

4. Elnyelő készlet (5. ábra)

Rizs. 5.

Amikor a rendszer belép ebbe a halmazba, a folyamat véget ér.

Egyes esetekben a folyamat véletlenszerűsége ellenére bizonyos mértékig lehet szabályozni az eloszlási törvényeket vagy az átmeneti valószínűségek paramétereit. Ilyen Markov láncok irányítottnak nevezzük. Nyilvánvalóan az irányított Markov-láncok (CMC) segítségével a döntéshozatali folyamat különösen hatékonnyá válik, amint arról később lesz szó.

A diszkrét Markov-lánc (DMC) fő jellemzője a folyamat egyes lépései (szakaszai) közötti időintervallumok determinizmusa. Azonban gyakran be valós folyamatok ezt a tulajdonságot nem tartják be, és az intervallumok véletlenszerűnek bizonyulnak valamilyen eloszlási törvény mellett, bár a folyamat Markov-tulajdonsága megmarad. Az ilyen véletlenszerű sorozatokat fél-Markov-nak nevezik.

Ezen túlmenően, figyelembe véve bizonyos fent említett állapothalmazok jelenlétét és hiányát, a Markov-láncok lehetnek elnyelők, ha van legalább egy elnyelő állapot, vagy ergodikusak, ha az átmenet valószínűségei ergodikus halmazt alkotnak. Az ergodikus láncok viszont lehetnek szabályosak vagy ciklikusak. A ciklikus láncok abban különböznek a hagyományos láncoktól, hogy bizonyos számú lépésen (cikluson) keresztül történő átmenetek során visszatérnek valamilyen állapotba. A normál láncok nem rendelkeznek ezzel a tulajdonsággal.

Sok olyan művelet, amelyet az optimális megoldás kiválasztásakor elemezni kell, véletlenszerű folyamatként alakul ki, számos véletlenszerű tényező függvényében.

Mert matematikai leírás formában fejlődő sok művelet véletlenszerű folyamat, sikeresen alkalmazható matematikai berendezés, amelyet a valószínűségszámításban fejlesztettek ki az úgynevezett Markov véletlenszerű folyamatokra.

Magyarázzuk meg a Markov-féle véletlenszerű folyamat fogalmát.

Legyen valami rendszer S, amelynek állapota idővel változik (a rendszer alatt S bármit jelenthet: ipari vállalkozást, műszaki eszköz, javítóműhely stb.). Ha a rendszerállapot S véletlenszerűen, előre megjósolhatatlan módon idővel változik, azt mondják a rendszerben S szivárog véletlenszerű folyamat.

Példák véletlenszerű folyamatokra:

áringadozások a tőzsdén;

ügyfélszolgálat egy fodrászszalonban vagy javítóműhelyben;

vállalkozáscsoport ellátási tervének végrehajtása stb.

Ezen folyamatok konkrét lefolyása számos véletlenszerű, korábban előre nem látható tényezőtől függ, mint például:

a politikai változásokról szóló, előre nem látható hírek érkezése a tőzsdére;

az ügyfelektől érkező alkalmazások (követelmények) áramlásának véletlenszerűsége;

véletlenszerű megszakítások az ellátási terv végrehajtásában stb.

MEGHATÁROZÁS. A rendszerben előforduló véletlenszerű folyamatot ún Markovian(vagy következmények nélküli folyamat), ha van a következő tulajdonság: az idő minden pillanatára t 0 a rendszer bármely állapotának valószínűsége a jövőben (val t > t 0) csak a jelen állapotától függ (val t = t 0)és nem attól függ, hogy a rendszer mikor és hogyan jutott ebbe az állapotba (azaz hogyan alakult a folyamat a múltban).

Más szóval, egy Markov-féle véletlenszerű folyamatban a jövőbeli fejlődése csak a jelenlegi állapottól függ, és nem függ a folyamat „előtörténetétől”.

Nézzünk egy példát. Hagyja a rendszert S már egy ideje létező tőzsdét képviseli. Kíváncsiak vagyunk, hogyan fog működni a rendszer a jövőben. Világos, legalábbis első közelítésben, hogy a jövőbeni teljesítmény jellemzői (egy adott részvény árfolyamesésének valószínűsége egy hét alatt) a rendszer jelenlegi állapotától függenek (itt a leginkább különféle tényezők mint például a kormányzati döntések vagy a választási eredmények), és nem függenek attól, hogy a rendszer mikor és hogyan érte el jelenlegi állapotát (nem függ e részvények múltbeli árfolyammozgásának természetétől).

A gyakorlatban gyakran találkozunk véletlenszerű folyamatokkal, amelyek különböző közelítési fokig markovinak tekinthetők.

A Markov véletlenszerű folyamatok elmélete rendelkezik széles körű különféle alkalmazások. Elsősorban a Markov-féle véletlenszerű folyamatok elméletének alkalmazására leszünk kíváncsiak olyan matematikai műveleti modellek felépítésére, amelyek lefolyása és kimenetele jelentősen függ a véletlenszerű tényezőktől.

A Markov véletlenszerű folyamatokat a következőkre osztjuk osztályok attól függően, hogy az S" rendszer hogyan és milyen időpontokban tudja megváltoztatni állapotait.

MEGHATÁROZÁS. A véletlenszerű folyamatot ún folyamat diszkrét állapotokkal, lehetőség szerint a rendszer állapotai s x , s 2 , s v... sorra lehet sorolni (számozni), maga a folyamat pedig az, hogy időről időre a rendszer S hirtelen (azonnal) egyik állapotból a másikba ugrik.

Például projektfejlesztés S két osztály közösen hajtja végre, amelyek mindegyike hibázhat. A következő rendszerállapotok lehetségesek:

5, - mindkét osztály rendesen működik;

s 2 - az első osztály hibázott, a második jól működik;

s 3 - a második osztály hibázott, az első jól működik;

s 4 - mindkét osztály hibázott.

A rendszerben lezajló folyamat az, hogy az véletlenszerűen bizonyos időpillanatokban állapotról állapotra mozog („ugrik”). A rendszernek összesen négy lehetséges állapota van. Előttünk egy folyamat diszkrét állapotokkal.

A diszkrét állapotú folyamatok mellett vannak folytonos állapotú véletlenszerű folyamatok: ezeket a folyamatokat fokozatos, zökkenőmentes állapotból állapotba való átmenet jellemzi. Például egy világítási hálózatban a feszültségváltozás folyamata véletlenszerű folyamat, folyamatos állapotokkal.

Csak véletlenszerű, diszkrét állapotú folyamatokat fogunk figyelembe venni.

A diszkrét állapotú véletlenszerű folyamatok elemzésekor nagyon kényelmes a használata geometriai séma- az úgynevezett állapotgráf. Állapot grafikon geometriailag ábrázolja a rendszer lehetséges állapotait és annak lehetséges átmenetekállamról államra.

Legyen rendszer S diszkrét állapotokkal:

Minden állapotot egy téglalap ábrázol, és az állapotok közötti lehetséges átmeneteket („ugrásokat”) az ezeket a téglalapokat összekötő nyilak ábrázolják. ábrán látható egy példa állapotgráfra. 4.1.

Vegye figyelembe, hogy a nyilak csak az állapotok közötti közvetlen átmeneteket jelölik; ha a rendszer át tud lépni az állapotból s 2 5 3-kor csak át s y akkor a nyilak csak átmeneteket jelölnek s 2-> és l, 1 -> 5 3, de nem s 2 -» s y Nézzünk néhány példát:

1. Rendszer S- egy vállalat, amely az öt lehetséges állapot egyikében lehet: s]- haszonnal dolgozik;

s 2- elvesztette fejlődési kilátásait és nem termel nyereséget;

5 3 - potenciális átvétel tárgyává vált;

s 4- külső irányítás alatt áll;

s 5- a felszámolt cég vagyonát árverésen értékesítik.

A cég állapotgrafikonja az ábrán látható. 4.2.

Rizs. 4.2

• 2. Rendszer S- két fiókkal rendelkező bank. A következő rendszerállapotok lehetségesek:
• 5, - mindkét ág nyereségesen működik;

s 2 - az első ág nyereség nélkül, a második nyereséggel működik;

5 3 - a második ágazat nyereség nélkül, az első nyereséggel működik;

s 4 - mindkét fiók profit nélkül működik.

Feltételezhető, hogy nincs javulás az állapotában.

Az állapotgrafikon a ábrán látható. 4.3. Vegye figyelembe, hogy a grafikon nem mutat egy lehetséges átmenetet az állapotból s] közvetlenül a s4, ami valóra válik ha a bank azonnal veszteségesen fog működni. Egy ilyen esemény lehetősége elhanyagolható, amint azt a gyakorlat megerősíti.

Rizs. 4.3

3. Rendszer S- két kereskedőből (részlegből) álló befektetési társaság: I. és II. mindegyikük valamikor veszteségesen kezdhet működni. Ha ez megtörténik, a társaság vezetése azonnal intézkedik az osztály nyereséges működésének helyreállítása érdekében.

Lehetséges rendszerállapotok: s- mindkét osztály tevékenysége nyereséges; s 2- az első részleg helyreállítása folyamatban van, a második nyereséggel működik;

s 3- az első részleg nyereségesen működik, a második helyreáll;

s 4- mindkét osztályt helyreállítják.

A rendszerállapot grafikonja a ábrán látható. 4.4.

4. Az előző példa feltételei szerint minden kereskedő tevékenységét, mielőtt megkezdené az osztály nyereséges munkájának helyreállítását, a vállalat vezetése tanulmányozza annak javítása érdekében.

A kényelem kedvéért a rendszer állapotait nem egy, hanem két indexszel fogjuk számozni; az első az első kereskedő státuszát jelenti (1 - nyereséggel dolgozik, 2 - tevékenységét a vezetőség tanulmányozza, 3 - helyreállítja az osztály nyereséges tevékenységét); a második - ugyanezek az állapotok a második kereskedő esetében. Például, s 23 azt jelenti: az első kereskedő tevékenységét vizsgálják, a második a jövedelmező munka helyreállítását.

Lehetséges rendszerállapotok S:

s u- mindkét kereskedő tevékenysége nyereséget hoz;

s l2- az első kereskedő nyereséggel dolgozik, a második tevékenységét a vállalat vezetése tanulmányozza;

5 13 - az első kereskedő nyereséggel dolgozik, a második helyreállítja az osztály nyereséges tevékenységét;

s 2l- az első kereskedő tevékenységét a menedzsment tanulmányozza, a második nyereséggel dolgozik;

s 22 - mindkét kereskedő tevékenységét a vezetőség tanulmányozza;

• 5 23 - az első kereskedő munkáját tanulmányozzák, a második kereskedő helyreállítja az osztály nyereséges tevékenységét;
• 5 31 - az első kereskedő helyreállítja az osztály nyereséges tevékenységét, a második nyereséggel dolgozik;
• 5 32 - az első kereskedő helyreállítja az osztály nyereséges tevékenységét, tanulmányozza a második kereskedő munkáját;
• 5 33 - mindkét kereskedő helyreállítja osztálya jövedelmező munkáját.

Összesen kilenc állam van. Az állapotgrafikon a ábrán látható. 4.5.

A kérések áramlásának Poisson-jellegére és a szolgáltatási idő exponenciális eloszlására vonatkozó feltevések annyiban értékesek, hogy lehetővé teszik az úgynevezett Markov véletlen folyamatok apparátusának alkalmazását a sorelméletben.

Egy fizikai rendszerben lezajló folyamatot Markov-folyamatnak (vagy utóhatás nélküli folyamatnak) nevezzük, ha minden időpillanatban a rendszer bármely állapotának valószínűsége a jövőben csak a rendszer jelenlegi állapotától függ, és nem attól függ, hogy a rendszer hogyan jutott ebbe az állapotba.

Nézzünk egy Markov-féle véletlenszerű folyamat elemi példáját. A pont véletlenszerűen mozog az abszcissza tengelye mentén. Az idő pillanatában a pont az origóban van, és egy másodpercig ott is marad. Egy másodperccel később egy érmét dobnak fel; ha a címer kiesik, a pont egy hosszegységgel jobbra, ha a szám balra mozdul el. Egy másodperccel később az érmét újra feldobják, és ugyanazt a véletlenszerű mozgást hajtják végre, stb. A pont helyzetének megváltoztatásának folyamata (vagy ahogy mondani szokás: „séta”) egy véletlenszerű folyamat diszkrét idővel és megszámlálható halmazzal. államok

A folyamat lehetséges átmeneteinek diagramja az ábrán látható. 19.7.1.

Mutassuk meg, hogy ez a folyamat Markov-féle. Valójában képzeljük el, hogy egy adott időpontban a rendszer például olyan állapotban van – egy egységnyire az origótól jobbra. Egy pont lehetséges pozíciói egy időegység után 1/2 és 1/2 valószínűséggel lesznek; két egységen keresztül - , , 1/4, ½, 1/4 és így tovább. Nyilvánvalóan mindezek a valószínűségek csak attól függnek, hogy a pont hol található pillanatnyilag, és teljesen függetlenek attól, hogyan került oda.

Nézzünk egy másik példát. Létezik egy különböző típusú és különböző tartósságú elemekből (részekből) álló műszaki eszköz. Ezek az elemek véletlenszerűen és egymástól függetlenül meghibásodhatnak. Az egyes elemek megfelelő működése feltétlenül szükséges a készülék egészének működéséhez. Egy elem hibamentes működési ideje egy exponenciális törvény szerint eloszló valószínűségi változó; mert ennek a törvénynek a típuselemei és paraméterei eltérőek és egyenlők, ill. A készülék meghibásodása esetén azonnal intézkednek az okok feltárására, és az észlelt hibás elemet azonnal kicserélik egy újra. Az eszköz helyreállításához (javításához) szükséges idő egy exponenciális törvény szerint van elosztva a paraméterrel (ha típusú elem) és (ha típusú elem) meghibásodik.

IN ebben a példában rendszerben előforduló véletlenszerű folyamat Markov-folyamat folyamatos idejű és véges halmaz kimondja:

Minden elem működőképes, a rendszer működik,

A típuselem hibás, a rendszer javítás alatt áll,

A típuselem hibás, a rendszer javítás alatt áll.

A lehetséges átmenetek diagramja az ábrán látható. 19.7.2.

Valójában a folyamatnak Markov tulajdonsága van. Legyen például abban a pillanatban, hogy a rendszer állapot (működő) állapotban van. Mivel az egyes elemek hibamentes működési ideje tájékoztató jellegű, az egyes elemek jövőbeni meghibásodásának pillanata nem függ attól, hogy mennyi ideig működtek már (amikor kerültek szállításra). Ezért annak a valószínűsége, hogy a jövőben a rendszer valamilyen állapotban marad, vagy elhagyja, nem függ a folyamat „előtörténetétől”. Tegyük fel most, hogy a rendszer pillanatnyilag állapotában van (a típusú elem hibás). Mivel a javítási idő is tájékoztató jellegű, a javítás bármely időpontban történő befejezésének valószínűsége nem függ attól, hogy a javítás mikor kezdődött és a megmaradt (szervizelhető) elemek mikor kerültek szállításra. Így a folyamat markovi.

Vegyük észre, hogy az elem működési idejének exponenciális eloszlása ​​és a javítási idő exponenciális eloszlása ​​olyan lényeges feltételek, amelyek nélkül a folyamat nem lenne markovi. Valóban, tegyük fel, hogy az elem megfelelő működési ideje nem exponenciális törvény szerint oszlik el, hanem valamilyen más törvény szerint - például a területen az egyenletes sűrűség törvénye szerint. Ez azt jelenti, hogy minden elem egy ideig garantáltan működik, és a től ig terjedő szakaszban bármely pillanatban meghibásodhat azonos valószínűségi sűrűséggel. Tegyük fel, hogy egy adott időpontban az elem megfelelően működik. Nyilvánvalóan annak a valószínűsége, hogy egy elem a jövőben valamikor meghibásodik, attól függ, hogy milyen régen telepítették az elemet, azaz függ a korábbi előzményektől, és a folyamat nem lesz markovi.

Hasonló a helyzet a javítási idővel is; ha ez nem jelzésértékű, és az elemet éppen javítják, akkor a hátralévő javítási idő attól függ, hogy mikor kezdődött; a folyamat megint nem lesz markovi.

Általánosságban elmondható, hogy az exponenciális eloszlás különleges szerepet játszik a folytonos idejű Markov véletlenszerű folyamatok elméletében. Könnyen ellenőrizhető, hogy egy stacionárius Markov-folyamatban az az idő, ameddig a rendszer bármilyen állapotban marad, mindig exponenciális törvény szerint oszlik el (egy paraméterrel, amely általában ettől az állapottól függ). Valóban, tegyük fel, hogy a rendszer pillanatnyilag olyan állapotban van, és már korábban is ebben volt. A Markov-folyamat definíciója szerint a jövőbeni események valószínűsége nem függ az előzményektől; különösen annak a valószínűsége, hogy egy rendszer időn belül elhagy egy állapotot, nem függhet attól, hogy a rendszer mennyi időt töltött már ebben az állapotban. Következésképpen azt az időt, amíg a rendszer az állapotban marad, exponenciális törvény szerint kell elosztani.

Abban az esetben, ha a folyamat ben zajlik fizikai rendszer megszámlálható állapothalmazzal és folytonos idővel, Markov-féle, ez a folyamat közönséges differenciálegyenletekkel írható le, amelyben az ismeretlen függvények az állapotvalószínűségek. Az alábbi példában bemutatjuk az ilyen egyenletek összetételét és megoldását a legegyszerűbb rendszer tömegszolgálat.

A sorelmélet a valószínűségszámítás egyik ága. Ez az elmélet úgy véli valószínűségi feladatok és matematikai modellek(ezelőtt determinisztikus matematikai modelleket vettünk figyelembe). Hadd emlékeztessük, hogy:

Determinisztikus matematikai modell egy objektum (rendszer, folyamat) viselkedését tükrözi szemszögből teljes bizonyosság a jelenben és a jövőben.

Valószínűségi matematikai modell figyelembe veszi a véletlenszerű tényezők hatását egy objektum (rendszer, folyamat) viselkedésére, és ezért bizonyos események valószínűsége szempontjából értékeli a jövőt.

Azok. itt, mint például a játékelméleti problémákkal foglalkozunk körülmények közöttbizonytalanság.

Nézzünk először néhány olyan fogalmat, amelyek a „sztochasztikus bizonytalanságot” jellemzik, amikor a feladatban szereplő bizonytalan tényezők olyan valószínűségi változók (vagy véletlenfüggvények), amelyek valószínűségi jellemzői vagy ismertek, vagy tapasztalatból nyerhetők. Az ilyen bizonytalanságot „kedvezőnek”, „jóindulatúnak” is nevezik.

A véletlenszerű folyamat fogalma

Szigorúan véve a véletlenszerű zavarok minden folyamat velejárói. Könnyebb példákat hozni egy véletlenszerű folyamatra, mint egy „nem véletlenszerű” folyamatra. Még például az óra működtetésének folyamata is (úgy tűnik, hogy ez egy szigorúan kalibrált munka - „úgy működik, mint egy óra”) véletlenszerű változásoknak van kitéve (előrelépés, lemaradás, megállás). De amíg ezek a zavarok jelentéktelenek és csekély hatással vannak a számunkra érdekes paraméterekre, elhanyagolhatjuk őket, és a folyamatot determinisztikusnak, nem véletlenszerűnek tekinthetjük.

Legyen valami rendszer S(műszaki eszköz, ilyen eszközök csoportja, technológiai rendszer - gép, telephely, műhely, vállalkozás, ipar stb.). A rendszerben S szivárog véletlenszerű folyamat, ha idővel megváltoztatja állapotát (egyik állapotból a másikba megy), ráadásul korábban ismeretlen véletlenszerűen.

Példák: 1. Rendszer S– technológiai rendszer (gépszakasz). A gépek időről időre elromlanak és javítják. Ebben a rendszerben a folyamat véletlenszerű.

2. Rendszer S- egy adott magasságon, meghatározott útvonalon repülõ repülőgép. Zavaró tényezők - időjárási viszonyok, személyzeti hibák stb., következmények - zökkenőmentesség, repülési menetrend megsértése stb.

Markov véletlenszerű folyamat

A rendszerben előforduló véletlenszerű folyamatot ún Markovszkij, ha egy pillanatra t Egy folyamat 0 valószínűségi jellemzői a jövőben csak a pillanatnyi állapotától függenek t 0, és nem függ attól, hogy a rendszer mikor és hogyan érte el ezt az állapotot.

Legyen a rendszer egy bizonyos állapotban t 0 pillanatban S 0 . Ismerjük a rendszer jelenkori állapotának jellemzőit, mindazt, ami mikor történt t<t 0 (folyamatelőzmények). Meg tudjuk-e jósolni (jósolni) a jövőt, i.e. mi lesz mikor t>t 0 ? Nem pontosan, de a folyamat néhány valószínűségi jellemzője megtalálható a jövőben. Például annak a valószínűsége, hogy egy idő után a rendszer S képes lesz S 1 vagy állapotában marad S 0 stb.

Példa. Rendszer S- részt vevő repülőgépek csoportja légi harc. Hadd x– „piros” repülőgépek száma, y– a „kék” repülőgépek száma. Mire t 0 túlélő (nem lelőtt) repülőgép, ill. x 0 ,y 0 . Arra vagyunk kíváncsiak, hogy az adott pillanatban a számbeli fölény a „vörösök” oldalán lesz. Ez a valószínűség attól függ, hogy a rendszer akkor milyen állapotban volt t 0, és nem arról, hogy a lelőttek mikor és milyen sorrendben haltak meg egészen a pillanatig t 0 repülőgép.

A gyakorlatban Markov feldolgozza tiszta formaáltalában nem található. De vannak folyamatok, amelyeknél az „őstörténet” befolyása elhanyagolható. Az ilyen folyamatok tanulmányozásakor pedig Markov-modellek használhatók (a sorbanállási elmélet nem veszi figyelembe a Markov-sorozórendszereket, de az ezeket leíró matematikai apparátus sokkal összetettebb).

Az operációkutatásban nagy érték diszkrét állapotú és folytonos idejű Markov véletlenszerű folyamatai vannak.

A folyamat az ún diszkrét állapotfolyamat, ha lehetséges S 1 ,S 2, ... előre meghatározható, és a rendszer állapotból állapotba való átmenete „ugrásszerűen”, szinte azonnal megtörténik.

A folyamat az ún folyamatos időbeli folyamat, ha az állapotból állapotba való lehetséges átmenetek pillanatai nem előre rögzítettek, hanem bizonytalanok, véletlenszerűek és bármelyik pillanatban bekövetkezhetnek.

Példa. Technológiai rendszer (szakasz) S két gépből áll, amelyek mindegyike egy véletlenszerű pillanatban meghibásodhat (meghibásodhat), ezután azonnal megkezdődik az egység javítása, amely szintén ismeretlen, véletlenszerű ideig folytatódik. A következő rendszerállapotok lehetségesek:

S 0 - mindkét gép működik;

S 1 - az első gépet javítják, a második működik;

S 2 - a második gépet javítják, az első működik;

S 3 - mindkét gép javítás alatt áll.

Rendszerátmenetek Sállapotról állapotra szinte azonnal bekövetkezik, véletlenszerű pillanatokban, amikor egy adott gép meghibásodik vagy a javítás befejeződik.

A diszkrét állapotú véletlenszerű folyamatok elemzésekor célszerű egy geometriai sémát használni - állapotgráf. A gráf csúcsai a rendszer állapotai. Grafikonívek – lehetséges átmenetek állapotból

1. ábra. Rendszerállapot grafikon

állami. Példánkban az állapotgráf az 1. ábrán látható.

Jegyzet. Átmenet az állapotból S 0 hüvelyk S 3 nincs feltüntetve az ábrán, mert feltételezzük, hogy a gépek egymástól függetlenül meghibásodnak. Elhanyagoljuk a két gép egyidejű meghibásodásának lehetőségét.

A sorbanállási rendszert véletlenszerű folyamat jellemzi. Egy rendszerben előforduló véletlenszerű folyamat és annak matematikai kifejezésének vizsgálata a sorelmélet tárgya.

Egy sorozórendszer működésének matematikai elemzését nagyban megkönnyíti, ha ennek a műveletnek a véletlenszerű folyamata Markovszkij. A rendszerben lezajló folyamatot Markov-nak nevezzük, ha az idő bármely pillanatában a rendszer bármely állapotának valószínűsége a jövőben csak a rendszer állapotától függ. aktuális pillanatés nem attól függ, hogy a rendszer hogyan jutott ebbe az állapotba. A kutatás során gazdasági rendszerek A diszkrét és folytonos állapotú Markov véletlenszerű folyamatokat használják legszélesebb körben.

A véletlenszerű folyamatot ún folyamat diszkrét állapotokkal, ha minden lehetséges állapota előre felsorolható, és maga a folyamat abból áll, hogy a rendszer időről időre átugrik egyik állapotból a másikba.

A véletlenszerű folyamatot ún folyamatos állapotú folyamat, ha az állapotról állapotra zökkenőmentes, fokozatos átmenet jellemzi.

Megkülönböztethetjük a Markov-folyamatokat is diszkrét És folyamatos idő. Az első esetben a rendszer átmenetei egyik állapotból a másikba csak szigorúan meghatározott, előre rögzített időpillanatokban lehetséges. A második esetben a rendszer állapotból állapotba való átmenete bármely korábban ismeretlen, véletlenszerű pillanatban lehetséges. Ha az átmenet valószínűsége nem függ az időtől, akkor a Markov-folyamatot hívjuk homogén.

A sorbanállási rendszerek tanulmányozásában nagy jelentőséggel bírnak a diszkrét állapotú, folytonos idejű véletlenszerű Markov-folyamatok.

A Markov-folyamatok tanulmányozása az átmeneti valószínűségi mátrixok () tanulmányozására vezethető vissza. Egy ilyen mátrix (eseményfolyam) minden eleme egy adott (sornak megfelelő) állapotból a következő (egy oszlopnak megfelelő) állapotba való átmenet valószínűségét jelenti. Ez a mátrix egy adott állapothalmaz összes lehetséges átmenetét biztosítja. Következésképpen az átmeneti valószínűségi mátrixokkal leírható és modellezhető folyamatoknak függőnek kell lenniük egy adott állapot valószínűségétől a közvetlenül megelőző állapottól. Így áll a sor Markov lánc. Ebben az esetben az elsőrendű Markov-lánc olyan folyamat, amelynek minden egyes állapota csak az előző állapotától függ. A másod- és magasabb rendű Markov-lánc olyan folyamat, amelyben jelenlegi állapot kettő vagy több előzőtől függ.

Az alábbiakban két példa látható az átmenet valószínűségi mátrixaira.

Átmeneti valószínűségi mátrixok ábrázolhatók átmeneti állapot grafikonokkal, az ábra szerint.

Példa

A cég olyan terméket állít elő, amely telítette a piacot. Ha egy vállalkozás a tárgyhónapban nyereséget (P) kap egy termék értékesítéséből, akkor 0,7 valószínűséggel 2012-ben lesz nyeresége. jövő hónapban, és 0,3 valószínűséggel – veszteség. Ha az adott hónapban egy vállalkozás veszteséget (L) ér el, akkor 0,4 valószínűséggel a következő hónapban nyereséget, 0,6 valószínűséggel pedig veszteséget (a valószínűségi becsléseket egy felmérés eredményeként kaptuk) szakértők). Számítsa ki az áruk értékesítéséből származó nyereség valószínűségi becslését a vállalkozás két hónapos működése után.

Ezt az információt mátrix formában fejezzük ki alábbiak szerint(amely megfelel az 1. mátrixpéldának):

Első iteráció – kétlépcsős átmenetek mátrixának felépítése.

Ha egy vállalat az adott hónapban nyereséget termel, akkor annak a valószínűsége, hogy a következő hónapban ismét nyereséget termel, egyenlő

Ha egy vállalat az adott hónapban nyereséget termel, akkor annak a valószínűsége, hogy a következő hónapban veszteséget termel, egyenlő

Ha egy vállalat veszteséges az adott hónapban, akkor annak a valószínűsége, hogy a következő hónapban nyereséget termel, egyenlő

Ha egy vállalat veszteséges az adott hónapban, akkor annak a valószínűsége, hogy a következő hónapban ismét veszteséges lesz, egyenlő

A számítások eredményeként kétlépcsős átmenetek mátrixát kapjuk:

Az eredményt mátrixszorzással érjük el t,mátrixonként azonos valószínűségi értékekkel:

Ezen eljárások Excelben való végrehajtásához a következő lépéseket kell végrehajtania:

• 1) mátrixot alkotnak;
• 2) hívja meg a MULTIPLE függvényt;
• 3) jelölje meg az első tömböt - egy mátrixot;
• 4) jelölje meg a második tömböt (ugyanaz a mátrix vagy másik);
• 5) OK;
• 6) válassza ki az új mátrix zónáját;
• 7) F2;
• 8) Ctrl+Shift+Enter;
• 9) kap egy új mátrixot.

Második iteráció – háromlépcsős átmenetek mátrixának felépítése. Hasonlóképpen kiszámítják a következő lépésben a nyereség vagy veszteség megszerzésének valószínűségét, és kiszámítják a háromlépcsős átmenetek mátrixát, amelynek alakja a következő:

Így a vállalkozás működésének következő két hónapjában nagyobb a valószínűsége annak, hogy egy termék kibocsátásából profitot termelnek, mint a veszteséget. Figyelembe kell azonban venni, hogy a nyereség valószínűsége csökken, ezért a vállalatnak új terméket kell kifejlesztenie a gyártott termék helyettesítésére.