Markov sorozat példákat. Egy nem tervezett tényező lényeges jellemzői
Sok olyan művelet, amelyet az optimális megoldás kiválasztásakor elemezni kell, véletlenszerű folyamatként alakul ki, számos véletlenszerű tényező függvényében.
Számos véletlenszerű folyamat formájában fejlődő művelet matematikai leírására sikeresen alkalmazható matematikai berendezés, amelyet a valószínűségszámításban fejlesztettek ki az úgynevezett Markov véletlenszerű folyamatokra.
Magyarázzuk meg a Markov-féle véletlenszerű folyamat fogalmát.
Legyen valami rendszer S, amelynek állapota idővel változik (a rendszer alatt S jelenthet bármit: ipari vállalkozást, műszaki eszközt, javítóműhelyt stb.). Ha a rendszerállapot S véletlenszerűen, előre megjósolhatatlan módon idővel változik, azt mondják a rendszerben S szivárog véletlenszerű folyamat.
Példák véletlenszerű folyamatokra:
áringadozások a tőzsdén;
ügyfélszolgálat egy fodrászszalonban vagy javítóműhelyben;
vállalkozáscsoport ellátási tervének végrehajtása stb.
Ezen folyamatok konkrét lefolyása számos véletlenszerű, korábban előre nem látható tényezőtől függ, mint például:
a politikai változásokról szóló, előre nem látható hírek érkezése a tőzsdére;
az ügyfelektől érkező alkalmazások (követelmények) áramlásának véletlenszerűsége;
véletlenszerű megszakítások az ellátási terv végrehajtásában stb.
MEGHATÁROZÁS. A rendszerben előforduló véletlenszerű folyamatot ún Markovian(vagy következmények nélküli folyamat), ha a következő tulajdonsággal rendelkezik: minden időpillanathoz t 0 a rendszer bármely állapotának valószínűsége a jövőben (val t > t 0) csak a jelen állapotától függ (val t = t 0)és nem attól függ, hogy a rendszer mikor és hogyan jutott ebbe az állapotba (azaz hogyan alakult a folyamat a múltban).
Más szóval, egy Markov-féle véletlenszerű folyamatban a jövőbeli fejlődése csak a jelenlegi állapottól függ, és nem függ a folyamat „előtörténetétől”.
Nézzünk egy példát. Hagyja a rendszert S már egy ideje létező tőzsdét képviseli. Kíváncsiak vagyunk, hogyan fog működni a rendszer a jövőben. Világos, legalábbis első közelítésben, hogy a jövőbeni teljesítmény jellemzői (egy adott részvény árfolyamesésének valószínűsége egy hét alatt) a rendszer jelenlegi állapotától függenek (itt a leginkább különféle tényezők mint például a kormányzati döntések vagy a választási eredmények), és nem függenek attól, hogy a rendszer mikor és hogyan érte el jelenlegi állapotát (nem függ e részvények múltbeli árfolyammozgásának természetétől).
A gyakorlatban gyakran találkozunk véletlenszerű folyamatokkal, amelyek különböző közelítési fokig markovinak tekinthetők.
A Markov véletlenszerű folyamatok elmélete rendelkezik széles körű különféle alkalmazások. Elsősorban a Markov-féle véletlenszerű folyamatok elméletének alkalmazására leszünk kíváncsiak olyan matematikai műveleti modellek felépítésére, amelyek lefolyása és kimenetele jelentősen függ a véletlenszerű tényezőktől.
A Markov véletlenszerű folyamatokat a következőkre osztjuk osztályok attól függően, hogy az S" rendszer hogyan és milyen időpontokban tudja megváltoztatni állapotait.
MEGHATÁROZÁS. A véletlenszerű folyamatot ún folyamat diszkrét állapotokkal, lehetőség szerint a rendszer állapotai s x , s 2 , s v... sorra lehet sorolni (számozni), maga a folyamat pedig az, hogy időről időre a rendszer S hirtelen (azonnal) egyik állapotból a másikba ugrik.
Például projektfejlesztés S két osztály közösen hajtja végre, amelyek mindegyike hibázhat. A következő rendszerállapotok lehetségesek:
5, - mindkét osztály rendesen működik;
s 2 - az első osztály hibázott, a második jól működik;
s 3 - a második osztály hibázott, az első jól működik;
s 4 - mindkét osztály hibázott.
A rendszerben lezajló folyamat az, hogy az véletlenszerűen bizonyos időpillanatokban állapotról állapotra mozog („ugrik”). A rendszernek összesen négy lehetséges állapota van. Előttünk egy folyamat diszkrét állapotokkal.
A diszkrét állapotú folyamatok mellett vannak folytonos állapotú véletlenszerű folyamatok: ezeket a folyamatokat fokozatos, zökkenőmentes állapotból állapotba való átmenet jellemzi. Például egy világítási hálózatban a feszültségváltozás folyamata véletlenszerű folyamat, folyamatos állapotokkal.
Csak véletlenszerű, diszkrét állapotú folyamatokat fogunk figyelembe venni.
A diszkrét állapotú véletlenszerű folyamatok elemzésekor nagyon kényelmes a használata geometriai séma- az úgynevezett állapotgráf. Állapotgrafikon geometriailag ábrázolja a rendszer lehetséges állapotait és lehetséges állapotból állapotba való átmeneteit.
Legyen rendszer S diszkrét állapotokkal:
Minden állapotot egy téglalap ábrázol, és az állapotok közötti lehetséges átmeneteket („ugrásokat”) az ezeket a téglalapokat összekötő nyilak ábrázolják. ábrán látható egy példa állapotgráfra. 4.1.
Vegye figyelembe, hogy a nyilak csak az állapotok közötti közvetlen átmeneteket jelölik; ha a rendszer át tud lépni az állapotból s 2 5 3-kor csak át s y akkor a nyilak csak átmeneteket jelölnek s 2-> és l, 1 -> 5 3, de nem s 2 -» s y Nézzünk néhány példát:
1. Rendszer S- egy vállalat, amely az öt lehetséges állapot egyikében lehet: s]- profittal dolgozik;
s 2- elvesztette fejlődési kilátásait és nem termel nyereséget;
5 3 - potenciális átvétel tárgyává vált;
s 4- külső irányítás alatt áll;
s 5- a felszámolt cég vagyonát árverésen értékesítik.
A cég állapotgrafikonja az ábrán látható. 4.2.
Rizs. 4.2
- 2. Rendszer S- két fiókkal rendelkező bank. A következő rendszerállapotok lehetségesek:
- 5, - mindkét ág nyereségesen működik;
s 2 - az első ág nyereség nélkül, a második nyereséggel működik;
5 3 - a második ágazat nyereség nélkül, az első nyereséggel működik;
s 4 - mindkét fiók profit nélkül működik.
Feltételezhető, hogy nincs javulás az állapotában.
Az állapotgrafikon a ábrán látható. 4.3. Vegye figyelembe, hogy a grafikon nem mutat egy lehetséges átmenetet az állapotból s] közvetlenül a s4, ami valóra válik ha a bank azonnal veszteségesen fog működni. Egy ilyen esemény lehetősége elhanyagolható, amint azt a gyakorlat megerősíti.
Rizs. 4.3
3. Rendszer S- két kereskedőből (részlegből) álló befektetési társaság: I. és II. mindegyikük valamikor veszteségesen kezdhet működni. Ha ez megtörténik, a vállalat vezetése azonnal intézkedik az osztály nyereséges működésének helyreállítása érdekében.
Lehetséges rendszerállapotok: s- mindkét osztály tevékenysége nyereséges; s 2- az első részleg helyreállítása folyamatban van, a második nyereséggel működik;
s 3- az első részleg nyereségesen működik, a második helyreáll;
s 4- mindkét osztályt helyreállítják.
A rendszerállapot grafikonja a ábrán látható. 4.4.
4. Az előző példa feltételei szerint minden kereskedő tevékenységét, mielőtt megkezdené az osztály nyereséges munkájának helyreállítását, a vállalat vezetése tanulmányozza annak javítása érdekében.
A kényelem kedvéért a rendszer állapotait nem egy, hanem két indexszel fogjuk számozni; az első az első kereskedő státuszát jelenti (1 - nyereséggel dolgozik, 2 - tevékenységét a vezetőség tanulmányozza, 3 - helyreállítja az osztály nyereséges tevékenységét); a második - ugyanezek az állapotok a második kereskedő esetében. Például, s 23 azt jelenti: az első kereskedő tevékenységét vizsgálják, a második a jövedelmező munka helyreállítását.
Lehetséges rendszerállapotok S:
s u- mindkét kereskedő tevékenysége nyereséget hoz;
s l2- az első kereskedő nyereséggel dolgozik, a második tevékenységét a vállalat vezetése tanulmányozza;
5 13 - az első kereskedő nyereséggel dolgozik, a második helyreállítja az osztály nyereséges tevékenységét;
s 2l- az első kereskedő tevékenységét a menedzsment tanulmányozza, a második nyereséggel dolgozik;
s 22 - mindkét kereskedő tevékenységét a vezetőség tanulmányozza;
- 5 23 - az első kereskedő munkáját tanulmányozzák, a második kereskedő visszaállítja az osztály nyereséges tevékenységét;
- 5 31 - az első kereskedő helyreállítja az osztály nyereséges tevékenységét, a második nyereséggel dolgozik;
- 5 32 - az első kereskedő helyreállítja az osztály nyereséges tevékenységét, tanulmányozza a második kereskedő munkáját;
- 5 33 - mindkét kereskedő helyreállítja osztálya jövedelmező munkáját.
Összesen kilenc állam van. Az állapotgrafikon a ábrán látható. 4.5.
A rendszerek felépítése és osztályozása sorban állás
Sorozati rendszerek
Gyakran dönteni kell valószínűségi problémák sorbanállási rendszerekkel (QS) kapcsolatos, amelyekre példák lehetnek:
Jegyirodák;
Javító műhelyek;
Kereskedelem, szállítás, energiarendszerek;
Kommunikációs rendszerek;
Az ilyen rendszerek közössége az egységben mutatkozik meg matematikai módszerekés a tevékenységük tanulmányozása során használt modelleket.
Rizs. 4.1. A TMO fő alkalmazási területei
A QS bemenete szolgáltatáskérések folyamát kapja. Például ügyfelek vagy betegek, berendezések meghibásodása, telefonhívások. A kérések szabálytalanul, véletlenszerű időpontokban érkeznek. A szolgálati idő is véletlenszerű. Ez szabálytalanságot okoz a QS munkájában, és túlterhelést és alulterhelést okoz.
A sorban állási rendszereknek van eltérő szerkezet, de általában megkülönböztethetők négy alapelem:
1. Bejövő követelményáramlás.
2. Tárhely (sor).
3. Eszközök (szolgáltatási csatornák).
4. Kiáramlás.
Rizs. 4.2. Általános séma sorbanállási rendszerek
Rizs. 4.3. A rendszer működési modellje
(nyilak jelzik a követelmények beérkezésének pillanatait
rendszer, téglalapok – szervizidő)
A 4.3 a ábra a rendszer modelljét mutatja be szabályos követelményfolyamattal. Mivel a kérések beérkezése közötti intervallum ismert, a szolgáltatási időt úgy választjuk meg, hogy a rendszer teljes mértékben le legyen terhelve. Egy sztochasztikus igényáramlású rendszernél teljesen más a helyzet - az igények különböző időpontokban érkeznek, és a szolgáltatási idő is egy valószínűségi változó, ami egy bizonyos eloszlási törvénnyel írható le (4.3. b ábra).
A sorban állás szabályaitól függően a következő QS-eket különböztetjük meg:
1) hibás rendszereket , amelyben, amikor az összes szolgáltatási csatorna foglalt, a kérés kiszolgálatlanul hagyja a rendszert;
2) rendszerek korlátlan várakozási sorral , amelyben egy kérés akkor kerül sorba, ha a beérkezés időpontjában minden szolgáltatási csatorna foglalt volt;
3) rendszerek várakozással és korlátozott sorbanállással , amelyben a várakozási időt bizonyos feltételek korlátozzák, vagy korlátozások vannak a sorban lévő alkalmazások számára.
Tekintsük a bejövő követelményfolyam jellemzőit.
A követelmények áramlását ún állandó , ha annak a valószínűsége, hogy egy adott számú esemény egy bizonyos hosszúságú időszegmensbe esik, csak ennek a szakasznak a hosszától függ.
Az eseményfolyam ún áramlás következmények nélkül , ha egy bizonyos időszakra eső események száma nem függ a többire eső események számától.
Az eseményfolyam ún rendes , ha nem lehetséges két vagy több esemény egyidejű megérkezése.
A követelmények áramlását ún Poisson (vagy a legegyszerűbb), ha három tulajdonsága van: álló, közönséges és nincs következménye. Az elnevezés abból adódik, hogy a megadott feltételek teljesülése esetén a Poisson-törvény szerint oszlik meg a tetszőleges fix időintervallumra eső események száma.
Intenzitás alkalmazások áramlása λ az áramlásból érkező alkalmazások átlagos száma időegységenként.
Álló áramlás esetén az intenzitás állandó. Ha τ a két szomszédos kérés közötti időintervallum átlagos értéke, akkor Poisson-folyam esetén a szolgáltatásba érkezés valószínűsége m időszakra szóló kérelmeket t Poisson törvénye határozza meg:
A szomszédos kérések közötti idő egy exponenciális törvény szerint van elosztva valószínűségi sűrűséggel
A szolgáltatási idő egy valószínűségi változó, és engedelmeskedik egy exponenciális eloszlási törvénynek valószínűségi sűrűséggel 
ahol μ a szolgáltatási áramlás intenzitása, azaz. az időegység alatt kiszolgált kérések átlagos száma,
A bejövő áramlás intenzitásának és a szolgáltatási áramlás intenzitásának arányát ún rendszerindítás
A sorbanállási rendszer egy diszkrét típusú rendszer, véges vagy megszámlálható állapothalmazzal, és a rendszer egyik állapotból a másikba való átmenete hirtelen történik, amikor valamilyen esemény bekövetkezik.
A folyamat az ún folyamat diszkrét állapotokkal , ha lehetséges állapotai előre átszámozhatók, és a rendszer állapotból állapotba való átmenete szinte azonnal megtörténik.
Kétféle ilyen folyamat létezik: diszkrét vagy folyamatos idő.
Diszkrét idő esetén az állapotból állapotba való átmenetek szigorúan megtörténhetnek bizonyos pillanatokat idő. A folyamatos idejű folyamatokat az különbözteti meg, hogy a rendszer bármikor átállhat új állapotba.
A véletlenszerű folyamat egy olyan megfelelés, amelyben az argumentum minden értéke (in ebben az esetben– egy pillanat a kísérlet időtartamától) egy valószínűségi változóhoz (jelen esetben a QS állapotához) kapcsolódik. Véletlen változó olyan mennyiség, amely a tapasztalat eredményeként egy dolgot át tud venni, de előre nem tudni, hogy melyiket, számérték adott számkészletből.
Ezért a sorelméleti problémák megoldásához szükséges ennek a véletlenszerű folyamatnak a tanulmányozása, pl. felépíteni és elemezni matematikai modell.
Véletlenszerű folyamat hívott Markovian , ha egy adott pillanatban a folyamat valószínűségi jellemzői a jövőben csak a folyamat állapotától függenek. pillanatnyilagés nem attól függ, hogy a rendszer mikor és hogyan jutott ebbe az állapotba.
A rendszer állapotból állapotba való átmenetei bizonyos áramlások (kérelmek áramlása, elutasítások áramlása) hatására történnek. Ha minden eseményfolyam, amely a rendszert új állapotba hozza, a legegyszerűbb Poisson, akkor a rendszerben lezajló folyamat Markov lesz, mivel a legegyszerűbb folyamnak nincs következménye: abban a jövő nem a múlton múlik. .
Alatt véletlenszerű folyamat megérteni valamely fizikai rendszer állapotainak időbeni változását korábban ismeretlen véletlenszerűen. Egy időben alatt fizikai rendszer meg fogjuk érteni bármely műszaki eszköz, eszközcsoport, vállalkozás, iparág, biológiai rendszer stb.
Véletlenszerű folyamat a rendszerben áramló ún Markovszkij – ha bármely időpillanatban, akkor a folyamat valószínűségi jellemzői a jövőben (t > ) csak az állapotától függ egy adott időpontban ( a jelenben ), és nem függenek attól, hogy a rendszer mikor és hogyan került ebbe az állapotba a múltban .(Például egy Geiger-számláló, amely rögzíti a kozmikus részecskék számát).
A Markov-folyamatokat általában 3 típusra osztják:
1. Markov lánc – olyan folyamat, amelynek állapotai diszkrétek (azaz átszámozhatók), és a figyelembe vétel időpontja is diszkrét (azaz a folyamat csak bizonyos időpontokban változtathatja meg állapotait). Egy ilyen folyamat lépésekben (más szóval ciklusokban) megy végbe (változik).
2. Diszkrét Markov-folyamat – az állapotok halmaza diszkrét (felsorolható), az idő pedig folyamatos (átmenet egyik állapotból a másikba - bármikor).
3. Folyamatos Markov-folyamat – az állapotok és az idő halmaza folyamatos.
A gyakorlatban Markov feldolgozza tiszta forma nem gyakran fordulnak elő. Gyakran azonban olyan folyamatokkal kell foglalkozni, amelyeknél az őstörténet befolyása elhanyagolható. Ezen túlmenően, ha a „múltból” származó összes olyan paraméter, amelytől a „jövő” függ, benne van a rendszer „jelenbeli” állapotában, akkor azt Markovnak is tekinthetjük. Ez azonban gyakran a figyelembe vett változók számának jelentős növekedéséhez és a probléma megoldásának képtelenségéhez vezet.
In Operations Research nagy érték foglalják el az ún Markov véletlenszerű folyamatok diszkrét állapotokkal és folytonos idővel.
A folyamat az ún folyamat diszkrét állapotokkal, ha minden lehetséges állapota , ,... előre felsorolható (átszámozható). A rendszer szinte azonnal – ugrásszerűen – állapotról állapotra vált.
A folyamat az ún folyamatos időbeli folyamat, ha az állapotból állapotba való átmenet mozzanatai tetszőlegesek lehetnek véletlenszerű értékek az időtengelyen.
Például : Műszaki eszköz S két csomópontból áll , amelyek mindegyike véletlenszerűen meghibásodhat ( hulladék). Ezt követően azonnal megkezdődik az egység javítása ( felépülés), amely folytatódik véletlenszerű idő.
A következő rendszerállapotok lehetségesek:
Mindkét csomópont működik;
Az első egység javítás alatt áll, a második működik.
– a második egység javítás alatt áll, az első működik
Mindkét egység javítás alatt áll.
Egy rendszer állapotból állapotba való átmenete az idő véletlenszerű pillanataiban, szinte azonnal megtörténik. A segítségével kényelmesen megjeleníthetők a rendszer állapotai és a köztük lévő kapcsolat állapotgráf .
államok
Átmenetek
Nincsenek átmenetek, mert az elemek meghibásodása és helyreállítása egymástól függetlenül és véletlenszerűen történik, és két elem egyidejű meghibásodásának (helyreállásának) a valószínűsége végtelenül kicsi és elhanyagolható.
Ha minden eseményfolyam átviszi a rendszert Sállamról államra – protozoák, Azt folyamat, olyan rendszerben folyik Markovszkij lesz. Ez annak köszönhető, hogy a legegyszerűbb áramlásnak nincs utóhatása, pl. benne a „jövő” nem függ a „múlttól”, és emellett a hétköznapiság tulajdonságával is rendelkezik - két vagy több esemény egyidejű előfordulásának valószínűsége végtelenül kicsi, vagyis átmenet az állapotból a másikba. állapot több köztes állapoton való áthaladás nélkül lehetetlen.
Az áttekinthetőség kedvéért az állapotgrafikonon célszerű minden átmeneti nyílnál feltüntetni annak az eseményfolyamnak az intenzitását, amely a rendszert állapotból állapotba viszi át egy adott nyíl mentén ( -az események áramlásának intenzitása, amely a rendszert állapotból átviszi V. Az ilyen gráfot ún megjelölt.
Egy felcímkézett rendszerállapot-gráf segítségével felállíthatja ennek a folyamatnak a matematikai modelljét.
Tekintsük a rendszer átmeneteit egy bizonyos állapotból az előző vagy a következő állapotba. Ebben az esetben az állapotgráf egy része így fog kinézni:
Hagyja, hogy a rendszer az idő pillanatában tállapotban van.
Jelöljük (t)- a rendszer i-edik állapotának valószínűsége– annak a valószínűsége, hogy a rendszer az idő pillanatában tállapotban van. Bármely t időpontra =1 igaz.
Határozzuk meg annak a valószínűségét, hogy az adott pillanatban t+∆t ben lesz a rendszer. Ez lehet benne következő eseteket:
1) és ∆ t alatt nem hagyta el. Ez azt jelenti, hogy a ∆t idő alatt nem merült fel olyan esemény, amely a rendszert állapotba viszi (intenzitású áramlás), vagy olyan esemény, amely állapotba viszi (intenzitással járó áramlás). Határozzuk meg ennek valószínűségét kis ∆t esetén.
Két szomszédos igény közötti időeloszlás exponenciális törvénye mellett, amely a legegyszerűbb eseményfolyamnak felel meg, annak a valószínűsége, hogy a ∆t időintervallum alatt egyetlen követelmény sem merül fel az intenzitású áramlásban λ 1 egyenlő lesz
Az f(t) függvényt Taylor-sorra (t>0) kibontva kapjuk (t=∆t esetén)
f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=
= +(-l) *∆t+ (∆ + *(∆ +...") 1-l*∆t ∆t®0-nál
Hasonlóképpen λ 2 intenzitású áramlásra kapjuk 
.
Annak a valószínűsége, hogy a ∆t (∆t®0-nál) nem lesz követelmény egyenlő lesz
(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =
1 - - *∆t + 
1 - (
+
)*∆t + b.m.
Így annak a valószínűsége, hogy a rendszer nem hagyta el az állapotot ∆t idő alatt, egyenlő lesz
P( / )=1 – ( + )* ∆t
2) A rendszer olyan állapotban volt S i -1 és időre államba ment át S i . Vagyis legalább egy esemény intenzitással történt az áramlásban. Ennek a valószínűsége egyenlő a legegyszerűbb intenzitású áramlás esetén λ akarat
A mi esetünkben az ilyen átmenet valószínűsége egyenlő lesz
3)A rendszer olyan állapotban volt és idővel ∆t átment az állapotba . Ennek valószínűsége lesz
Ekkor annak a valószínűsége, hogy a rendszer (t+∆t) időpontban S i állapotban lesz, egyenlő
Vonjuk ki mindkét oldalból P i (t)-t, osszuk el ∆t-vel, és a határértékre lépve ∆t→0-nál kapjuk
Az állapotok közötti átmenetek intenzitásának megfelelő értékeit behelyettesítve egy differenciálegyenlet-rendszert kapunk, amely leírja a rendszerállapotok valószínűségének változását az idő függvényében.
Ezeket az egyenleteket egyenleteknek nevezzük Kolmogorov-Chapman diszkrét Markov-folyamathoz.
A kezdeti feltételek (pl. P 0 (t=0)=1,P i (t=0)=0 i≠0) megadása és megoldása után a rendszer függvényként való állapotának valószínűségére vonatkozó kifejezéseket kapunk. az idő. Analitikai megoldások meglehetősen egyszerű megkapni, ha az egyenletek száma ≤ 2,3. Ha több van belőlük, akkor az egyenleteket általában numerikusan, számítógépen oldják meg (például Runge-Kutta módszerrel).
A véletlenszerű folyamatok elméletében igazolt , Mi ha az n rendszer állapotok Biztosan és mindegyikből lehetséges (mert végső szám lépések) menjen bármelyik másikhoz, akkor van egy határ , amelyre a valószínűségek hajlamosak mikor t→ . Az ilyen valószínűségeket ún végső valószínűségek állapotok, az állandósult állapot pedig az álló üzemmód a rendszer működése.
Mivel álló üzemmódban minden 
, ezért minden =0. Ha az egyenletrendszer bal oldalát 0-val egyenlővé tesszük, és az =1 egyenlettel kiegészítjük, egy lineáris rendszert kapunk. algebrai egyenletek, melynek megoldása során megtaláljuk a végső valószínűségek értékeit.
Példa. Legyen a rendszerünk elemeinek meghibásodási és helyreállítási aránya a következő:
Kudarcok 1el: 
2el: 
Javítás 1el: 
2el: 
P 0 +P 1 +P 2 +P 3 =1
0=-(1+2)P 0 +2P 1 +3 P 2
0=-(2+2)P 1 +1P 0 +3P 3
0=-(1+3)P 2 +2P 0 +2P 3
0=-(2+3)P 3 +2P 1 +1P 2
Miután eldöntötte ezt a rendszert, megkapjuk
P 0 = 6/15 = 0,4; P1=3/15=0,2; P2=4/15=0,27; P3 =2/15≈0,13.
Azok. V álló állapot rendszer átlagosan
40%-a S 0 állapotban van (mindkét csomópont működik),
20% - S 1 állapotban (1. egység javítás alatt áll, 2. üzemképes),
27% - S 2 állapotban (2. elektromos egység javítás alatt, 1. üzemképes),
13% - S 3 állapotban - mindkét egység javítás alatt áll.
A végső valószínűségek ismerete lehetővé teszi értékelje a rendszer átlagos hatékonyságát és a javítási szolgáltatás leterheltségét.
Legyen az S 0 állapotú rendszer 8 konvencionális egységnyi bevételt generálva. időegységenként; S 1 állapotban - jövedelem 3 konvencionális egység; S 2 állapotban - jövedelem 5; S 3 állapotban - jövedelem = 0
Ár javítások időegységenként az 1-es elemnél- 1(S 1, S 3) hagyományos egységek, a 2-es elemnél- (S 2, S 3) 2 hagyományos egységek. Ezután álló üzemmódban:
A rendszer bevétele időegységenként ez lesz:
W ex =8P 0 +3P 1 +5P 2 +0P 3 =8·0,4+3·0,2+5·0,27+0·0,13=5,15 hagyományos egység.
Javítási költség egységekben idő:
W rem =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0·0,4+1·0,2+2·0,27+3·0,13=1,39 hagyományos egység.
Nyereség időegységenként
W= W kilégzés -W javítás =5,15-1,39= 3,76 hagyományos egység
Bizonyos kiadások ráfordításával megváltoztathatja a λ és μ intenzitást, és ennek megfelelően a rendszer hatékonyságát. Az ilyen kiadások megvalósíthatósága a P i újraszámításával értékelhető. és a rendszer teljesítménymutatói.
MARKOV-FOLYAMAT
Utóhatás nélküli folyamat - véletlenszerű folyamat, amelynek alakulása bármely után beállított érték t időparaméter nem függ az azt megelőző fejlődéstől t, feltéve, hogy a folyamat értéke ebben rögzült (röviden: a folyamat „jövője” és „múltja” nem függ egymástól ismert „jelennel”).
A mágneses teret meghatározó tulajdonságot általában ún Markovian; először A. A. Markov fogalmazta meg. Azonban már L. Bachelier munkásságában is felfedezhető egy kísérlet Brownian M.-ként való értelmezésére, amely kísérlet N. Wiener kutatásai után kapott igazolást (N. Wiener, 1923). Alapok általános elmélet A folyamatos idővel rendelkező képviselőket A. N. Kolmogorov alapította.
Markov ingatlan. Léteznek egymástól jelentősen eltérő M. definíciók. Az egyik leggyakoribb a következő. Bevall valószínűségi tér egy véletlenszerű folyamat mérhető térből származó értékekkel van megadva, ahol T - részhalmaz valódi tengely Hadd Nt(illetőleg Nt).van benne egy s-algebra
az X(s) mennyiségek által generált.at
Ahol
Más szóval, Nt(illetőleg Nt) események halmaza, amelyek a folyamat fejlődéséhez kapcsolódnak a t pillanatig (t-től kezdve) .
Az X(t) folyamatot hívjuk Markov-folyamat, ha (majdnem biztosan) a Markov-tulajdon mindenkire érvényes:
vagy mi ugyanaz, ha van ilyen
M. tétel, amelyre a T-t tartalmazza a készlet természetes számok, hívott Markov lánc(utóbbi kifejezés azonban leggyakrabban legfeljebb megszámlálható E esetéhez kapcsolódik) .
Ha egy intervallum több mint megszámlálható, akkor M.-t hívunk. folyamatos idő Markov-lánc. A folytonos idejű mágneses folyamatokra példák a diffúziós folyamatok és a független növekményes folyamatok, beleértve a Poisson- és Wiener-folyamatokat is.
A következőkben a határozottság kedvéért csak az esetről lesz szó 
Az (1) és (2) képletek világosan értelmezik a „múlt” és a „jövő” függetlenségének elvét az ismert „jelen” adottság mellett, de az M. ezeken alapuló meghatározása nem bizonyult elég rugalmasnak a azt a számos helyzetet, amikor nem egy, hanem az (1) vagy (2) típusú feltétel összességét kell figyelembe venni, amelyek különböző, bár konzisztensek. bizonyos módon, intézkedések Ilyen jellegű megfontolások vezettek az elfogadáshoz következő definíciót(cm. , ).
Adjuk meg a következőket:
a) ahol az s-algebra tartalmazza az összes E-beli egypontos halmazt;
b) olyan s-algebracsaláddal felszerelve mérhető, hogy ha
V) (" ") x t =xt(w) ,
meghatározva bármilyen mérhető leképezéshez
d) mindegyikre és egy valószínűségi mértéket az s-algebrán úgy, hogy a függvény 
mérhető ha és
Nevek halmaza (nem végződő) Markov folyamat definiálva az if -majdnem biztosan
bármi legyen is Itt - az elemi események tere, - fázistér vagy állapottér, P( s, x, t, V)- átmeneti funkció vagy az X(t) folyamat átmenet valószínűsége .
Ha E topológiával van felruházva, és a Borel beállt gyűjteménye E, akkor azt szokás mondani, hogy az M. o E. Jellemzően az M. p definíciója tartalmazza azt a követelményt, hogy majd valószínűségként kell értelmezni, feltéve, hogy x s =x.
Felmerül a kérdés: minden Markov-átmenetfüggvény P( s, x;t, V),
mérhető térben adott egy bizonyos M. tér átmeneti függvényének tekinthető. A válasz pozitív, ha például E egy lokálisan elválasztható kompakt tér, és a Borel-halmazok gyűjteménye. E. Sőt, hadd E - teljes metrika helyet és hagyjuk
bárkinek, ahol a egy pont e-szomszédságának kiegészítése X. Ekkor a megfelelő mágneses tér jobb oldalon folytonosnak, bal oldalon pedig határértékekkel rendelkezőnek tekinthető (vagyis a pályái ilyennek választhatók). A folytonos mágneses tér meglétét a (lásd, ) helyen lévő feltétel biztosítja. A mechanikai folyamatok elméletében a fő figyelmet azokra a folyamatokra fordítják, amelyek (időben) homogének. A megfelelő definíció azt jelenti adott rendszer tárgyakat a) - d) azzal a különbséggel, hogy a leírásában szereplő s és u paramétereknél már csak a 0 érték megengedett A jelölés is leegyszerűsödik:
Továbbá feltételezik a W tér homogenitását, azaz szükséges, hogy bármely 
volt ilyen 
(w) for Emiatt az s-algebrán N, a legkisebb s-algebra W-ben, amely bármilyen alakú eseményt tartalmaz 
időeltolás operátorok q vannak megadva t, amelyek megőrzik a halmazok egyesülési, metszés- és kivonási műveleteit, és amelyekre
Nevek halmaza (nem végződő) homogén Markov-folyamat, amelyet ha -majdnem biztosan definiálunk
az X(t) folyamat Átmeneti függvényéhez P( t, x, V), és hacsak nincsenek különleges fenntartások, ezek ezenkívül megkövetelik, hogy Hasznos szem előtt tartani, hogy a (4) bejelölésekor elegendő csak olyan formátumú halmazokat figyelembe venni, ahol 
és hogy a (4)-ben mindig Ft helyettesíthető s-algebrával, amely megegyezik a befejezések metszéspontjával Ft Az összes lehetséges mértékhez gyakran rögzítjük az m valószínűségi mértéket („kezdeti”), és figyelembe veszik a Markovot véletlenszerű függvény 
hol van az egyenlőség által adott mérték
M. p. fokozatosan mérhető, ha a függvény minden t>0-ra mérhetőt indukál, ahol az s-algebra
Borel részhalmazok be . A megfelelő folyamatos képviselők fokozatosan mérhetők. Van mód arra, hogy a heterogén esetet homogénné redukáljuk (lásd), a következőkben homogén képviselőkről lesz szó.
Szigorúan. Egy mérhető teret adjon meg egy m.
A függvényt hívják Markov pillanat, Ha 
mindenkinek
Ebben az esetben az F t családba tartoznak, ha at (leggyakrabban az F t az X(t) t pillanatig tartó fejlődéséhez kapcsolódó események halmazaként értelmeződik). Mert higgyen
Progresszíven mérhető M. o. szigorúan Markov-folyamat (s.m.p.), ha bármely Markov-momentumra m és minden 
és arány
(szigorúan Markov-tulajdonság) szinte biztosan érvényes a W t halmazra. Az (5) ellenőrzésnél elegendő csak a hol alakú halmazokat figyelembe venni 
ebben az esetben egy S. m tér például tetszőleges jobbra folytonos Feller M. tér egy topologikusban. tér E. M. p. Feller Markov folyamat, ha a függvény
folytonos, ha f folytonos és korlátos.
Az osztályban. bizonyos alosztályokat különböztetünk meg. Legyen a markovi P( t, x, V),
metrikus lokálisan kompakt térben definiálva E, sztochasztikusan folytonos:
Ha az operátorok olyan függvényeket vesznek magukba, amelyek folytonosak és a végtelenben eltűnnek, akkor a P() függvények. t, x, V) megfelel a szabványnak M. o. X, azaz folyamatos a jobb oldalon -val. olvadáspont, amelyhez
- szinte valószínűleg sokaknál 
a Pmarkov-momentumok, amelyek nem csökkennek a növekedéssel. A Markov-folyamat befejezése. Gyakran fizikai A rendszereket célszerű nem végződő mágneses mezőt használva, de csak véletlenszerű hosszúságú időintervallumban leírni. Ezenkívül az MP egyszerű átalakítása is olyan folyamathoz vezethet, amelynek pályája meghatározott véletlenszerű intervallum(cm. Funkcionális Markov-eljárásból). Ezektől a megfontolásoktól vezérelve bevezetik a törött képviselő fogalmát.
Legyen egy homogén M.P a fázistérben, amelynek átmeneti függvénye van 
és legyen pont és függvény 
úgy, hogy at és in egyébként(ha nincs külön fenntartás, figyelembe veszik). Új pálya x t(w) csak a ) számára van megadva az egyenlőség segítségével 
a Ft a készletben meghatározottak szerint
Állítsa be, hol 
hívott egy befejező Markov-folyamattal (o.m.p.), amelyet a z időpontban történő befejezéssel (vagy megöléssel) kapunk. A z értéket nevezzük a szünet pillanata, vagy az élet ideje, o. ol.p. Az új folyamat fázistere az, ahol az s-algebra nyoma van E.Átmeneti függvény o. Az olvadáspont egy halmazra vonatkozó korlátozás 
Az X(t) folyamatot hívjuk egy szigorúan vett Markov-folyamat, vagy egy szabványos Markov-folyamat, ha rendelkezik a megfelelő tulajdonsággal Egy nem végződő MP tekinthető o-nak. olvadáspont a törés pillanatával Heterogén o. Hasonló módon határozzuk meg a 1. M.
Markov folyamatok és . M. o Brown-mozgás szorosan kapcsolódnak a parabolikus differenciálegyenletekhez. típus. Átmenet p(s, x, t, y).
Függvény p( s, x, t, y).a (6) - (7) egyenletek Green függvénye, és az első ismert módszereképítés diffúziós folyamatok A (6) - (7) differenciálegyenletekre vonatkozó tételeken alapultak a függvény létezésére vonatkozó tételek. Az időben egységes folyamathoz L( s, x)= L(x).on sima funkciók megfelel a jellemzőnek operátor M. o Átmeneti operátor félcsoport).
Math. az (1) differenciálegyenlet megfelelő határérték-problémáira a diffúziós folyamatokból származó különféle funkcionális elvárások szolgálnak megoldásként. Legyen - matematikai. elvárás mértéknél Ekkor a függvény kielégíti at s
Ugyanígy a funkció
megelégszik vele s
és állapot és 2 ( T, x) = 0.
Legyen tt a határ első elérésének pillanata dD régióban
folyamat pályája
Ezután bizonyos feltételek mellett a funkció
kielégíti az egyenletet
és cp értékeket vesz fel a készleten
Általános lineáris parabola 1. határérték-feladatának megoldása. 2. rendű egyenletek
formában meglehetősen általános feltételezések alapján írható
Abban az esetben, ha L és függvények s, f ne függj attól s, lineáris elliptika megoldására a (9)-hez hasonló ábrázolás is lehetséges. egyenletek Pontosabban a funkció
bizonyos feltételezések szerint problémák vannak
Abban az esetben, ha az L operátor degenerálódik (del b( s, x) = 0
).vagy dD nem elég „jó” a határértékeket nem fogadja el a (9), (10) függvény egyes pontokon vagy teljes halmazokon. Az operátor szabályos határpontjának fogalma L valószínűségi értelmezése van. A határ szabályos pontjain a határértékeket a (9), (10) függvények érik el. A (8), (11) feladatok megoldása lehetővé teszi a megfelelő diffúziós folyamatok tulajdonságainak és funkcionálisaik tanulmányozását.
Vannak olyan módszerek a MP-k létrehozására, amelyek nem támaszkodnak például a (6), (7) egyenletek megoldásainak megalkotására. módszer sztochasztikus differenciálegyenletek, abszolút folyamatos mértékváltoztatás stb. Ez a körülmény a (9), (10) képletekkel együtt lehetővé teszi, hogy valószínűségileg konstruáljuk és tanulmányozzuk a (8) egyenlet határérték-feladatainak tulajdonságait, valamint a megoldás tulajdonságait. a megfelelő elliptikus. egyenletek
Mivel egy sztochasztikus differenciálegyenlet megoldása érzéketlen a b() mátrix degeneráltságára s, x), Azt valószínűségi módszereket alkalmaztak az elliptikus és parabolikus differenciálegyenletek elfajulásának megoldására. N. M. Krylov és N. N. Bogolyubov átlagolási elvének kiterjesztése sztochasztikusra differenciálegyenletek lehetővé tette a (9) segítségével, hogy megkapjuk a megfelelő eredményeket elliptikus és parabolikus differenciálegyenletekre. Kiderült, hogy az ilyen típusú egyenletek megoldási tulajdonságainak tanulmányozása során a legnagyobb derivált mellett lehetséges bizonyos nehéz problémákat megoldani valószínűségi megfontolások segítségével. A (6) egyenlet 2. határérték-feladatának megoldása szintén valószínűségi jelentéssel bír. A határérték-problémák megfogalmazása egy határtalan tartományra szorosan összefügg a megfelelő diffúziós folyamat megismétlődésével.
Időhomogén folyamat esetén (L nem függ s-től) az egyenlet pozitív megoldása egy multiplikatív állandóig bizonyos feltevések mellett egybeesik az MP stacionárius eloszlássűrűségével hasznos lehet a nemlineáris parabolák határérték-problémáinak mérlegelésekor. egyenletek. R. 3. Khasminsky.
Megvilágított.: Markov A. A., "Izvestia. Fizikai-Matematikai Társaság a Kazany Egyetemen", 1906, 15. évf., 4. szám, p. 135-56; V a s h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17. o. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Fordítás - "Uspekhi Matematicheskikh Nauk", 1938, század. 5. o. 5-41; Zhun Kai-lai, Homogén Markov-láncok, ford. angolból, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60. o. 417-36; Dynkin E.B., Yushkevich A.A., „Valószínűségelmélet és alkalmazásai”, 1956, 1. kötet, század. 1. o. 149-55; Xant J.-A., Markov-folyamatok és potenciálok, ford. angolból, M., 1962; D e l l a s h e r i K., Kapacitások és véletlenszerű folyamatok, ford. franciából, M., 1975; Dynk és E.V., A Markov-folyamatok elméletének alapjai, M., 1959; ő, Markov Processes, M., 1963; G és h ember I. I., S k o r o x o d A. V., Véletlenszerű folyamatok elmélete, 2. kötet, M., 1973; Freidlin M.I., a Results of Science című könyvben. Valószínűségszámítás,. - Elméleti. 1966, M., 1967, p. 7-58.; X a s minskiy R. 3., „Valószínűségelmélet és alkalmazásai”, 1963, 8. kötet, in
Markov folyamat- az X(t) diszkrét vagy folytonos véletlenszerű folyamat, amely két mennyiséggel teljesen megadható: P(x,t) annak valószínűsége, hogy az x(t) valószínűségi változó t időpontban egyenlő x-szel és P(x2, t2½x1t1), hogy... ... Közgazdasági és matematikai szótár
Markov folyamat- Diszkrét vagy folytonos X(t) véletlenszerű folyamat, amely két mennyiséggel teljesen megadható: P(x,t) annak valószínűsége, hogy az x(t) valószínűségi változó t időpontban egyenlő x-szel és P(x2) valószínűséggel , t2? x1t1), hogy ha x t = t1... ... Műszaki fordítói útmutató
A véletlen folyamatok fontos speciális típusa. Markov-folyamat például egy radioaktív anyag bomlása, ahol egy adott atom rövid időn belüli bomlásának valószínűsége nem függ a folyamat előző periódusbeli lefolyásától.... ... Large Encyclopedic Dictionary - Markovo process statusas T terület automatika megfelelőmenys: engl. Markovprocess vok. Markovprozeß, m rus. Markov-folyamat, m; Markov folyamat, m pranc. processus markovien, m … Automatikos terminų žodynas
Markov folyamat- Markovo vyksmas statusas T terület fizika atitikmenys: engl. Markov-folyamat; Markovi folyamat vok. Markow Prozeß, m; Markowscher Prozeß, m rus. Markov-folyamat, m; Markov folyamat, m pranc. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas
A véletlen folyamatok fontos speciális típusa. Markov-folyamat például egy radioaktív anyag bomlása, ahol egy adott atom rövid időn belüli bomlásának valószínűsége nem függ a folyamat előző periódusbeli lefolyásától.... ... Enciklopédiai szótár
A véletlenszerű folyamatok fontos speciális típusa (Lásd Random process), amelyek nagy jelentőséggel bírnak a valószínűségszámításnak a természettudomány és a technológia különböző ágaiban történő alkalmazásakor. Mágneses folyamatra példa egy radioaktív anyag bomlása. Nagy szovjet enciklopédia
A matematika területén kiemelkedő felfedezést tett 1906-ban az orosz tudós, A.A. Markov.
9. előadás
Markov folyamatok9. előadás
Markov folyamatok
1
Markov folyamatok
Markov folyamatokA rendszerben előforduló véletlenszerű folyamatot ún
Markovian, ha nincs következménye. Azok.
ha figyelembe vesszük a folyamat aktuális állapotát (t 0) - mint
jelen, lehetséges állapotok halmaza ( (s),s t) - as
múlt, lehetséges állapotok halmaza ( (u),u t) - as
jövőre, majd egy Markov-eljárásra egy fixre
jelen, a jövő nem a múlttól függ, hanem meghatározott
csak a jelenben és nem függ attól, hogy mikor és hogyan a rendszer
ebbe az állapotba jutott.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
2
Markov folyamatok
Markov folyamatokA Markov véletlenszerű folyamatait a kiváló orosz matematikusról, A. A. Markovról nevezték el, aki először kezdte el tanulmányozni a valószínűségi változók kapcsolatát
és megalkotott egy elméletet, amelyet „dinamikának” nevezhetünk
valószínűségek." Ezt követően ennek az elméletnek az alapja az volt
a véletlenszerű folyamatok általános elméletének kezdeti alapja, valamint olyan fontos alkalmazott tudományok, mint a diffúziós folyamatok elmélete, a megbízhatóságelmélet, a sorozáselmélet stb.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
3
Markov Andrey Andreevich Markov Andrey Andreevich Markov Andrey Andreevich
Markov folyamatokMarkov Andrej Andrejevics
1856-1922
orosz matematikus.
Körülbelül 70 művet írt
elméletek
számok,
elméletek
függvény közelítések, elmélet
valószínűségek. Jelentősen kibővítette a törvény hatályát
nagy számban és központi
határtétel. Is
a véletlen folyamatok elméletének megalapítója.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
4
Markov folyamatok
Markov folyamatokA gyakorlatban a Markov-folyamatok tiszta formájukban általában
ne találkozzunk. De vannak folyamatok, amelyeknél az „őstörténet” befolyása elhanyagolható, és a tanulmányozás során
Az ilyen folyamatokhoz Markov-modellek használhatók. IN
Jelenleg a Markov-folyamatok elmélete és alkalmazásai széles körben használatosak számos területen.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
5
Markov folyamatok
Markov folyamatokBiológia: születési és halálozási folyamatok – populációk, mutációk,
járványok.
Fizika:
radioaktív
bomlik,
elmélet
számlálók
elemi részecskék, diffúziós folyamatok.
Kémia:
elmélet
nyomait
V
nukleáris
fotó emulziók,
A kémiai kinetika valószínűségi modelljei.
Képek.jpg
Csillagászat: fluktuációelmélet
a Tejút fényessége.
Sorozatelmélet: telefonközpontok,
javítóműhelyek, jegyirodák, információs pultok,
gépi és egyéb technológiai rendszerek, vezérlőrendszerek
rugalmas termelési rendszerek, információfeldolgozás szerverek által.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
6
Markov folyamatok
Markov folyamatokLegyen az aktuális t0 pillanatban a rendszer bent
bizonyos S0 állapot. Ismerjük a jellemzőket
a rendszer jelenlegi állapota és minden, ami t-kor történt< t0
(a folyamat háttere). Megjósolhatjuk-e a jövőt,
azok. mi történik t > t0-nál?
Nem pontosan, de néhány valószínűségi jellemzőt
folyamat megtalálható a jövőben. Például annak a valószínűsége
hogy egy idő után
Az S rendszer olyan állapotban lesz
S1 vagy S0 állapotban marad stb.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
7
Markov folyamatok. Példa.
Markov folyamatokMarkov folyamatok. Példa.
Az S rendszer olyan repülőgépek csoportja, amelyek részt vesznek légi harc. Legyen x a mennyiség
„piros” síkok, y – a „kék” síkok száma. A t0 időpontban a túlélő (nem lelőtt) repülőgépek száma
rendre – x0, y0.
Minket annak a valószínűsége érdekel az adott pillanatban
t 0 a számbeli fölény a „vörösök” oldalán lesz. Ez a valószínűség attól függ, hogy a rendszer milyen állapotban volt
a t0 időpontban, és nem azon, hogy mikor és milyen sorrendben lőtték le a repülőgépeket a t0 pillanat előtt.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
8
Diszkrét Markov láncok
Markov folyamatokDiszkrét Markov láncok
Markov-folyamat véges vagy megszámlálható számmal
az idő állapotait és pillanatait diszkrétnek nevezzük
Markov lánc. Átmenet állapotról állapotra csak egész időpillanatokban lehetséges.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
9
10. Diszkrét Markov-láncok. Példa
Markov folyamatokTegyük fel
Mi
beszéd
eljövetel
O
egymást követő érmefeldobások
dobójáték; egy érmét dobnak bele
feltételes időpillanatok t =0, 1, ... és at
lépésenként ±1 másodpercet nyerhet a játékos
ugyanaz
valószínűség
1/2,
mint ez
Így a t pillanatban a teljes erősítése egy ξ(t) valószínűségi változó, melynek lehetséges értékei j = 0, ±1, ... .
Feltéve, hogy ξ(t) = k, a következő lépésben a kifizetés lesz
már egyenlő ξ(t+1) = k ± 1-gyel, a j = k ± 1 értékeket azonos 1/2 valószínűséggel véve. Elmondhatjuk, hogy itt a megfelelő valószínűséggel a ξ(t) = k állapotból átmenet következik be a ξ(t+1) = k ± 1 állapotba.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
10
11. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
Általánosítva ezt a példát, elképzelhetünk egy rendszert
megszámlálható számú lehetséges állapot, amely idővel
diszkrét idő t = 0, 1, ... véletlenszerűen mozog állapotról állapotra.
Legyen ξ(t) a helyzete a t időpontban véletlenszerű átmenetek láncolata eredményeként
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
11
12. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
A diszkrét állapotú véletlenszerű folyamatok elemzésekor célszerű egy geometriai sémát - egy grafikont - használni.
kimondja. A gráf csúcsai a rendszer állapotai. A grafikon ívei
– lehetséges átmenetek állapotról állapotra.
Egy dobójáték.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
12
13. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
Jelöljük az összes lehetséges állapotot egész számokkal i = 0, ±1, ...
Tegyük fel, hogy ismert ξ(t) =i állapot mellett a következő lépésben a rendszer feltételes valószínűséggel a ξ(t+1) = j állapotba kerül.
P((t1)j(t)i)
függetlenül a múltbeli viselkedésétől, vagy inkább attól függetlenül
az átmenetek láncától a t pillanatig:
P( (t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P((t1)j(t)i)
Ezt az ingatlant Markovinak hívják.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
13
14. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
Szám
pij P( (t 1) j (t) i)
valószínűségnek nevezzük
a rendszer átmenete az i állapotból a j állapotba egy lépésben
idő t 1.
Ha az átmenet valószínűsége nem függ t-től, akkor az áramkör
Markovot homogénnek nevezik.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
14
15. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
P mátrix, melynek elemei a valószínűségek
átmeneti pij-t átmeneti mátrixnak nevezzük:
p11...p1n
P p 21 ... p 2n
p
n1...pnn
Sztochasztikus, azaz.
pij 1 ;
én
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
p ij 0 .
15
16. Diszkrét Markov-láncok. Példa
Markov folyamatokDiszkrét Markov láncok. Példa
Átmeneti mátrix a dobójátékhoz
...
k 2
k 2
0
k 1
1/ 2
k
0
k 1
k
k 1
k 2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16
17. Diszkrét Markov-láncok. Példa
Markov folyamatokDiszkrét Markov láncok. Példa
Kertész ennek eredményeként kémiai elemzés talajbecslések
állapota a három szám egyike – jó (1), kielégítő (2) vagy rossz (3). A sok éves megfigyelések eredményeként a kertész észrevette
hogy a talaj termőképessége a jelenlegi
év csak az állapotától függ
előző évben. Ezért a valószínűségek
a talaj átmenete egyik állapotból
egy másik a következőképpen ábrázolható
Markov-lánc P1 mátrixszal:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
17
18. Diszkrét Markov-láncok. Példa
Markov folyamatokDiszkrét Markov láncok. Példa
Az agrotechnikai intézkedések eredményeként azonban a kertész megváltozhat átmeneti valószínűségek a P1 mátrixban.
Ezután a P1 mátrix kicserélődik
a P2 mátrixhoz:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
18
19. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
Nézzük meg, hogyan változnak a folyamatállapotok az idő múlásával. A folyamatot az egymást követő időpillanatokban fogjuk figyelembe venni, a 0. pillanattól kezdve. Állítsuk be a kezdeti valószínűségi eloszlást p(0) ( p1 (0),..., pm (0)), ahol m az állapotok száma a folyamatból pi (0) a megtalálás valószínűsége
folyamat i állapotban kezdő pillanat idő. A pi(n) valószínűséget az állapot feltétlen valószínűségének nevezzük
i az n 1 időpontban.
A p (n) vektor komponensei megmutatják, hogy az áramkör n időpontban lehetséges állapotai közül melyik a legtöbb
valószínű.
m
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
pk(n) 1
k 1
19
20. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
Az n 1,... sorozatának ( p (n)) ismerete lehetővé teszi, hogy képet kapjon a rendszer időbeli viselkedéséről.
3 állapotú rendszerben
p11 p12 p13
P p21
p
31
p22
p32
p23
p33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
Általában:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
k
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
k
p(n 1) p(n) P
20
21. Diszkrét Markov-láncok. Példa
Markov folyamatokDiszkrét Markov láncok. Példa
Mátrix
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Lépés
(p(n))
n
0
1, 0, 0
n
1
0.2 , 0.5 , 0.3
n
2
0.04 , 0.35 , 0.61
n
3
0.008 , 0.195 , 0.797
n
4
0.0016 , 0.1015 , 0.8969
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
21
22. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
n
Átmeneti mátrix n lépéshez P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
22
23. Diszkrét Markov-láncok
Markov folyamatokDiszkrét Markov láncok
Hogyan viselkednek a Markov-láncok n esetén?
A homogénhez Markov lánc at bizonyos feltételeket futás következő ingatlan: p (n) n esetén.
A 0 valószínűség nem függ a kezdeti eloszlástól
p(0) , és csak a P mátrix határozza meg. Ebben az esetben stacioner eloszlásnak, magát a láncot pedig ergodikusnak nevezzük. Az ergodicitási tulajdonság azt jelenti, hogy ahogy n növekszik
az állapotok valószínűsége gyakorlatilag megszűnik, és a rendszer stabil működési módba kerül.
én
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
23
24. Diszkrét Markov-láncok. Példa
Markov folyamatokDiszkrét Markov láncok. Példa
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
p()(0,0,1)
24
25. Diszkrét Markov-láncok. Példa
Markov folyamatokDiszkrét Markov láncok. Példa
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p() (0,1017,0,5254,0,3729)
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
25
26. Markov folyamatok folytonos idővel
Markov folyamatokEgy folyamatot folytonos idejű folyamatnak nevezünk, ha
pillanatok lehetséges átmenetekállapotról állapotra nem rögzítettek előre, hanem bizonytalanok, véletlenszerűek és megtörténhetnek
bármelyik pillanatban.
Példa. Technológiai rendszer S két eszközből áll,
amelyek mindegyike egy véletlenszerű pillanatban kiléphet
épület, amely után azonnal megkezdődik az egység javítása, szintén ismeretlen, véletlenszerű ideig folytatódva.
A következő rendszerállapotok lehetségesek:
S0 - mindkét eszköz működik;
S1 - az első eszköz javítása folyamatban van, a második megfelelően működik;
S2 - a második eszköz javítása folyamatban van, az első megfelelően működik;
S3 - mindkét eszköz javítás alatt áll.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
26
27. Markov folyamatok folytonos idővel
Markov folyamatokFolyamatos idejű Markov-folyamatok
Az S rendszer állapotból állapotba való átmenetei bekövetkeznek
szinte azonnal, véletlenszerű kudarc pillanataiban
ez vagy az a készülék ill
javítások befejezése.
Az egyidejűség valószínűsége
mindkét eszköz meghibásodása
elhanyagolható.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
27
28. Eseményfolyamok
Markov folyamatokEseményfolyamok
Az eseményfolyam olyan homogén események sorozata, amelyek egymást követik bizonyos véletlenszerű pillanatokban.
az események átlagos száma
Az eseményfolyam intenzitása
egységnyi idő alatt.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
28
29. Eseményfolyamok
Markov folyamatokEseményfolyamok
Egy eseményfolyamot stacionáriusnak nevezünk, ha valószínűségi jellemzői nem függnek az időtől.
Különösen az intenzitás
az egyenletes áramlás állandó. Az események áramlásában elkerülhetetlenül vannak kondenzálódások vagy megritkulások, de ezek nem szabályos jellegűek, és az időegységre jutó események átlagos száma állandó és nem függ az időtől.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
29
30. Eseményfolyamok
Markov folyamatokEseményfolyamok
Az események áramlását következmények nélküli áramlásnak nevezzük, ha for
bármely két nem átfedő időszak és az egyikre eső események száma nem függ attól, hogy hány esemény esik a másikra. Más szóval ez azt jelenti, hogy az áramlást alkotó események bizonyos pillanatokban megjelennek
az idő egymástól függetlenül, és mindegyiket saját okai okozzák.
Egy eseményfolyamot közönségesnek nevezünk, ha egy t elemi szegmensben két vagy több esemény bekövetkezésének valószínűsége elhanyagolható egy esemény bekövetkezésének valószínűségéhez képest.
események, pl. az események egyenként jelennek meg benne, és nem egyszerre több csoportban
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
30
31. Eseményfolyamok
Markov folyamatokEseményfolyamok
Egy eseményfolyamot nevezzük a legegyszerűbbnek (vagy stacionárius Poissonnak), ha három tulajdonsága van egyszerre: 1) stacionárius, 2) közönséges, 3) nincs következménye.
A legegyszerűbb áramláshoz a legegyszerűbb is tartozik matematikai leírás. Ugyanazt a különlegességet játssza a patakok között
szerepet, mint a törvény normál eloszlás többek között
eloszlás törvényei. Ugyanis alkalmazva elég nagy számban független, álló és közönséges
áramlások (intenzitásában összehasonlíthatók egymással), az eredmény a legegyszerűbbhez közeli áramlás.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
31
32. Eseményfolyamok
Markov folyamatokEseményfolyamok
A legegyszerűbb áramlásért intenzitással
intervallum
A szomszédos események közötti T idő exponenciális
eloszlás a sűrűséggel
p(x) e x , x 0 .
Mert valószínűségi változó T, amelynek exponenciális eloszlása van, matematikai elvárás a paraméter inverze.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
32
33. Markov folyamatok folytonos idővel
Markov folyamatokFolyamatos idejű Markov-folyamatok
Figyelembe véve a diszkrét állapotú és folytonos idejű folyamatokat, feltételezhetjük, hogy az S rendszer minden átmenete állapotból állapotba a hatás hatására történik.
egyszerű eseményfolyamatok (hívásfolyamatok, hibafolyamatok, helyreállítási folyamatok stb.).
Ha minden eseményfolyam, amely az S rendszert állapotból állapotba viszi át, a legegyszerűbb, akkor a folyamatban bekövetkező folyamat
a rendszer markovi lesz.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
33
34. Markov folyamatok folytonos idővel
Markov folyamatokFolyamatos idejű Markov-folyamatok
Hagyja, hogy az állapotú rendszert befolyásolja
az események legegyszerűbb folyama. Amint ennek az áramlásnak az első eseménye megjelenik, a rendszer „kiugrik” az állapotból
állapotban.
- a rendszert átadó események áramlásának intenzitása
az államtól
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
V
.
34
35. Markov folyamatok folytonos idővel
Markov folyamatokFolyamatos idejű Markov-folyamatok
Legyen a vizsgált S rendszer
lehetséges állapotok
. A p ij (t) valószínűség az i állapotból a j állapotba való átmenet valószínűsége t időben.
Az i -edik állapot valószínűsége
annak a valószínűsége
hogy t időpontban a rendszer abban az állapotban lesz
. Nyilvánvaló, hogy minden pillanatban az összeget
az összes állapotvalószínűségből egyenlő eggyel:
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
35
36. Markov folyamatok folytonos idővel
Markov folyamatokFolyamatos idejű Markov-folyamatok
Megtalálni az összes állapotvalószínűséget
Hogyan
az idő függvényei, Kolmogorov-differenciálegyenleteket állítanak össze és oldanak meg - speciális típus olyan egyenletek, amelyekben az ismeretlen függvények az állapotok valószínűségei.
Az átmenet valószínűségei:
p ij (t) p ik (t) kj
k
A feltétel nélküli valószínűségekhez:
p j (t) p k (t) kj
k
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
36
37. Kolmogorov Andrej Nyikolajevics
Markov folyamatokKolmogorov Andrej Nyikolajevics
1903-1987
Nagy orosz
matematikus.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
37
38. Markov folyamatok folytonos idővel
Markov folyamatokFolyamatos idejű Markov-folyamatok
- a meghibásodás intenzitása;
- a helyreállítási áramlás intenzitása.
Legyen a rendszer olyan állapotban
S0. Az áramlás átviszi az S1 állapotba
az első készülék meghibásodása. Az intenzitása az
Ahol
- átlagos készülék üzemidő.
A rendszert az S1 állapotból az S0 állapotba viszi át a helyreállítások folyamata
első készülék. Az intenzitása az
Ahol
- átlagos idő az első gép javítására.
A rendszert a grafikon minden íve mentén továbbító eseményfolyamok intenzitását hasonló módon számítjuk ki.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
38
39. Sorozati rendszerek
Markov folyamatokPéldák sorban állási szolgáltató rendszerekre (QS): telefonközpontok, javítóműhelyek,
jegy
pénztárgépek,
referencia
hivatal,
szerszámgépek és egyéb technológiai rendszerek,
rendszerek
menedzsment
rugalmas
termelési rendszerek,
szerverek általi információfeldolgozás stb.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
39
40. Sorozati rendszerek
Markov folyamatokSorozati rendszerek
A QS bizonyos számú adagból áll
szolgáltatási csatornáknak nevezett egységek (ezek
gépek, robotok, kommunikációs vonalak, pénztárosok stb.). Bármilyen SMO
a véletlenszerű időpontokban érkező alkalmazások (követelmények) áramlásának kiszolgálására szolgál.
A kérés szolgáltatása véletlenszerűen folytatódik, majd a csatorna felszabadul, és készen áll a következő fogadására
alkalmazások.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
40
41. Sorozati rendszerek
Markov folyamatokSorozati rendszerek
A QS műveleti folyamat egy véletlenszerű folyamat, diszkréttel
állapotok és folyamatos idő. A QS állapota egyes események bekövetkezésének pillanatában hirtelen megváltozik
(új kérés beérkezése, szolgáltatás vége, pillanat,
amikor egy várakozásba belefáradt alkalmazás kilép a sorból).
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
41
42. Sorozati rendszerek
Markov folyamatokSorozati rendszerek
Sorozati rendszerek osztályozása
1. QS hibákkal;
2. Sorba állítás sorral.
Elutasításokat tartalmazó QS-ben egy olyan kérelem, amelyet akkor kaptak, amikor minden csatorna foglalt, elutasítást kap, elhagyja a QS-t, és már nem
szolgált.
A soros QS-ben egy olyan kérés, amely akkor érkezik, amikor minden csatorna foglalt, nem távozik, hanem bekerül a sorba, és várja a kiszolgálási lehetőséget.
QS várólisták vannak osztva különböző típusok attól függően
attól függ, hogy a sor hogyan van felszerelve – korlátozott vagy korlátlan. A korlátozások a sor hosszára és idejére egyaránt vonatkozhatnak
elvárások, „szolgáltatási fegyelem”.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
42
43. Sorozati rendszerek
Markov folyamatokSorozati rendszerek
A sorbanálláselmélet tárgya a konstrukció
adott feltételeket összekötő matematikai modellek
a QS működése (csatornák száma, teljesítményük, szabályok
munka, az alkalmazások áramlásának jellege) a minket érdeklő jellemzőkkel - a QS hatékonyságának mutatói. Ezek a mutatók a QS azon képességét írják le, hogy megbirkózzanak az áramlással
alkalmazások. Ezek lehetnek: a QS által kiszolgált alkalmazások átlagos száma időegységenként; a foglalt csatornák átlagos száma; a sorban álló kérelmek átlagos száma; átlagos várakozási idő a szolgáltatásra stb.
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
43
44.
KÖSZÖNÖMFIGYELEMBE!!!
44
45. Készítsen átmeneti gráfot
Markov folyamatokKészítsen átmeneti gráfot
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE, osztály PM, előadó Kirichenko L.O.
"Valószínűségszámítás, matematika
statisztikák és véletlenszerű folyamatok"
Előző cikk: Mekkora a fénysebesség Következő cikk: Harmonikus rezgések Az oszcillációs frekvencia fizikai képlete