Metóda dynamického programovania ako algoritmické vyjadrenie dostatočne všeobecnej teórie riadenia (1)

Metóda dynamického programovania ako algoritmické vyjadrenie dostatočne všeobecnej teórie riadenia (1)

14.1.2014

Čtrnáctá kapitola Dostatečně všeobecné teorie řízení, první část textu. Doporučuji materiálu věnovat zvýšenou pozornost, i když se zpočátku může dostavit pocit "a s čím to má co společného?"... má, a velmi. Brzy bude zveřejněn text o praktickém využití této metody Puškinem v jeho tvorbě.

 

Verze ke stažení (text + poznámky pod čarou): DVTR Kapitola 14-1.pdf

 

Online verze (neobsahuje poznámky pod čarou):

 

14. Metóda dynamického programovania ako algoritmické vyjadrenie

dostatočne všeobecnej teórie riadenia

 

Pri vy-svetlo-vaní podstaty metódy dynamického programovania sa opierame o knihu „Kurz teórie automatického riadenia“ („A Course in Automatic Control Theory” autor Robert Pallu de La Barrière, vydanie z r. 1966), aj keď priamo neopakujeme jeho formulácie. Jednotlivé teorémy (poučky, tézy) sú prevzaté aj z publikácie „Operačná analýza“ od J. P. Zajčenka (Kyjev, Vysoká škola r. 1979).

 

Metóda dynamického programovania je funkčná, pokiaľ formálna interpretácia reálnej úlohy umožňuje splniť nasledujúce podmienky:

  1. Skúmaná úloha môže byť formulovaná ako N-krokový proces, opísateľný vzťahom:

Xn + 1 = f(Xn, Un, n), kde

n — číslo jedného z množstva možných stavov systému, do ktorého on prechádza po

zavŕšení n-tého kroku;

Xn — stavový vektor systému patriaci spomínanej n-tej množine (n-tej v poradí množine);

Un — riadenie, vypracované v kroku n (krokové riadenie), prevádzajúce systém z jeho

 možného stavu v n-tej množine v jeden zo stavov (n + 1) množiny. Pre názornú

predstavu je potrebné si pozrieť obr. 4., o ktorom sa budeme baviť neskôr.

  1. Štruktúra úlohy sa nesmie meniť pri zmene predpokladaného počtu krokov N.

  2. Rozmer priestoru parametrov (t.j., doplnenie, alebo odobratie ďalšej veličiny, príp. veličín (teploty, farby, afinity, lásky...) znamená vznik novej situácie, iného stavového modelu systému), opisujúceho stav systému, sa nesmie meniť v závislosti od množstva krokov N.

  3. Výber riadenia na ľubovoľnom kroku (z N-krokov) nesmie popierať (negovať) voľbu riadenia na predchádzajúcich krokoch.(zákon zachovania kontinuity).

Inými slovami: optimálny výber, po prvé - cieľov a  po druhé - spôsobu riadenia v ľubovoľnom z možných stavov, musí byť podmienený (určený) parametrami skúmaného stavu, a nie parametrami procesu, priebehom ktorého systém do skúmaného stavu prišiel.

 

Čisto formálne:

Ak jednému stavu zodpovedajú rôzne jemu predchádzajúce deje jeho vzniku, vplývajúce na nasledujúci výber optimálneho riadenia, tak metóda umožňuje začleniť (zahrnúť) popis predchádzajúcich dejov do stavového vektora. To vedie k zväčšeniu rozmeru stavového vektora (matice = 2D, tenzoru pri 3D) systému. Po tejto operácii sa to, čo bolo do jej prebehnutia opisované ako jeden stav, stáva množinou stavov, odlišujúcich sa jeden od druhého komponentami stavového vektora, opisujúceho predchádzajúce deje vývoja procesu.1

 

  1. Kritérium optimálneho výberu následnosti (schémy, eng. “managing schedule“) krokových (pre jednotlivé kroky) riadení Un a zodpovedajúcej trajektórie v priestore formálnych parametrov má tvar (formu mier): V = V0(X0, U0) + V1(X1, U1) + VN - 1(XN- 1, UN - 1) + VN(XN)

 

Kritérium V nazývame plnou výhrou (ú-Spěchom)2, a ju tvoriace (do nej zarátavané) súčasti - krokovými výhrami (splnenými čiastkovými cieľmi)3. Pri úlohe je potrebné nájsť postupnosť krokových riadení Un a trajektóriu, ktorým zodpovedá maximálna z možných plných výhier. Vo svojej podstate, plná „výhra“ V, je  mierou CELKOVEJ kvality riadenia procesu. Výhry (úspechy) pri jednotlivých krokoch, aj keď sú súčasťou miery kvality celkového riadenia procesu, však vo všeobecnosti nie sú mierami kvality riadenia na im prislúchajúcich krokoch. Uvedená metóda je totiž predurčená k optimalizácii celkového riadenia procesu. Preto sú efektívne krokové riadenia s veľkou krokovou (momentálnou) výhrou, ale ležiace mimo optimálnej trajektórie (cesty), nezaujímavé. Štruktúra metódy NEzakazuje v nevyhnutnosti použiť pre každý krok iné kritérium stanovenia (definovania) krokovej výhry Vn, odlišné od kritérií prijatých pri druhých krokoch.

 

Index n je ukazovateľ určujúci početnosť (množstvo jednotlivých položiek, parametrov) možných stavových vektorov. V praktických úlohách s ním môže byť zviazaná nejaká premenná (premenlivý parameter), napr.: čas, dráha, sila, spotreba zdrojov, farba, nervozita, atď.

T.j., metóda je použiteľná nie len na optimalizáciu riadenia procesov plynúcich v „čase“, ale aj k úlohám optimalizácie mnohovariantného jednorázového (súčasného, momentálneho, paralelného s aktuálnym časom), alebo čas nevnímajúceho (neberúceho čas do úvahy, na čase nezávislého, resp. nereagujúceho na časovo4 podmienené zmeny) riešenia. Samozrejme za predpokladu, že takéto „bezčasové“ (nadčasové), „neprocesné“ úlohy pripúšťajú ich viackrokovú interpretáciu.

 

Teraz sa obrátime k obrázkom 4 – 6, opakujúcim vzájomne previazané (súvisiace) obr. 40, 41, 42 z kurzu teórie automatického riadenia R. P. de La Barrièra.

Obr. 4. K podstate metódy dynamického programovania.

Mat(r)ica možností.

 

Na obr. 4 sú znázornené:

«0» - počiatočný stav systému.

«1», «2», «3» - množiny jeho možných následných stavov, a taktiež možné prechody

z každého možného stavu do druhých možných stavov.

To vše rovněž připomíná mapu (ve smyslu šachovnice) stolní dětské hry, po které se přemísťují žetóny: každému přechodu - kroku odpovídá jeho kroková výhra, a  v  proces ukončující třetí množině, každému ze stavů systému je přidáno jeho vyhodnocení, umístěno v obdélníku.

 

Zásadní rozdíl od hry je v tom, že hádání výběru cesty v dětské hře, prováděno házením kostkami nebo točením se káči (vĺčka) a pod., je v reálném řízení nepřípustné, nakolik je to – postoupení (předání) účelového řízení těm silám, které jsou schopny řídit (ovládat) padání kostek, točení se káči a pod., t.j. těm silám, pro které je ve hře vybraný „generátor nahodilostí“ dostatočně (ve vztahu k jejich cílům) říditelné zařízení (mechanismus).

 

Jestli máme vybrat optimální řízení na prvním kroku, tak je nevyhnutné předvídat všechny jeho důsledky v následujících krocích. Proto popis algoritmu metody dynamického programování často začíná z popisu výběru řízení na posledním kroku vedoucím do jedného z dokončujících stavů procesu. V tomto případě poukazují na „pedagogickou praxi“, která dokazuje, že argumentace při popisu algoritmu od konečného stavu k počátečnímu se lehčeji chápe. Opírá se totiž o jako kdyby už poskladané (vzniklé, existující) podmínky (okolnosti, situace) k počátku skoumaného kroku, pričemž jsou zároveň možné varianty ukončení procesu taktéž stanovené.

Obrázek 5. K podstatě metody dynamického programování.

Analýza přechodů.

 

Na obr. 5 se v souladu s tím analyzují možné přechody do konečné množiny stavů „3“ z každého možného stavu v jemu předcházející množině stavů „2“, jako kdyby celá předcházející dráha byla už u konce a zůstalo by posledním výběrem optimálního krokového řízení celý proces završit. Při té příležitosti se pro každý ze stavů v množině „2“ definují (stanovují) všechny plné výhry (s-/na-plnení konečných cílů) jako součet = „hodnota (vyhodnocení) přechodu“ + „hodnota (vyhodnocení) záverečního stavu“. V množině5 „2“ ze získaných pro každý ze stavů, v něm možných plných výher, se určuje a zapamatovává maximální plná výhra a jemu přislouchající přechod (fragment trajektorie). Maximální plná výhra pro každý ze stavů v množině „2“ je umístěna do pravoúhlého rámečku a jemu přislouchající přechod je označen šipkou. Takových optimálních přechodů jednoho stavů do jiných, kterým přináleží jedno a totéž označení plné výhry, se v zásadě může vyskytnout i několik. V tom případě jsou všechny v metode nerozeznatelné a jeden ekvivalentní druhému, ve smyslu postaveného kritéria optimálnosti výběru trajektorie v prostoru parametrů, kterými se opisuje systém.

 

Poté množinu „2“, předcházející množině „3“, která proces zakončuje, možno skoumat jako (v kvalitě) zakončující, jelikož jsou známé vyhodnocení každého z její možných stavů (maximální plné výhry - koncové výstupy). Další optimalizace posloupnosti krokových řízení a výběr optimální trajektorie mohou být uskutečněny jenom na ještě neprozkoumaných množinách, které v optimalizačním procesu předchází úrovni „2“ (t.j. na úrovních množin „0“ a „1“).

 

Proces (procedúra), který(ou) ilustruje obr. 5 je tímto způsobem funkční na každém algoritmickém kroku metody při přechodech z n-té do (n–1)-té množiny, počínaje od zakončující N-té množiny do počátečního stavu systému.

 

V důsledku postupného párovýho (sekvenčního) skoumání množin, při procházení celého jejich souboru se projevuje optimální posloupnost návaznosti jedotlivých krokových řízení, maximálna možná plná výhra a jim přislouchající trajektorie. Na obr. 6 je zesílenou linií znázorněna optimální trajektorie pro rozebíraný případ.

Obr.6 K podstate metódy dynamického programovania

Optimálna trajektória

V skúmanom prípade je kritériom optimálnosti súčet krokových výhier. Kritérium optimálnosti však môže byť konštruované aj ako vytvorenie (strojenie, súčin) v každom prípade nezáporných sú-činiteľov (koeficientov).

Z matematiky na základnej škole vieme, že výsledok (súčet, alebo súčin) sa nemení pri zmene postupnosti operácií so sčítancami, alebo sú-činiteľmi. Preto je algo-rytmus funkčný aj pri preberaní (kontrole) množín možných stavov v poradí, inverznom (opačnom) k vyššie rozoberanému, t.j. od východiskového – pôvodného, ku konečnému - záverečnému. T.j. pri pohľade na situáciu „z opačného konca“, obrátenie situácie „z východu na západ“, od začiatku ku koncu, k záverečnej množine (úrovni) možných stavov... od konca k začiatku situácie = re-flexia, k(a)atar(a)zia chronologickej priority... inak aj tzv.“Cestovanie v čase“.

Ak sú množiny (úrovne vývoja) možných stavov usporiadané v chronologickej postupnosti, môže byť schéma výpočtu zostrojená jak z prítomnosti (aktuálneho stavu) smerom do prognostikovateľnej jednoznačnej budúcnosti, tak aj z prognostikovateľnej jednoznačnej budúcnosti do aktuálnej objektívnej reality (prítomnosti). Táto okolnosť (podmienenosť) hovorí o 2 neformálnych vzťahoch v praktickom živote, nachádzajúcich sa mimo uvedeného algoritmu:

  1. Metóda dynamického programovania (MDP) je formálne-algoritmicky necitlivá k charakteru príčinno-dôsledkových podmieneností. Konkrétne: MDP nerozlišuje príčiny od následkov. Z tohto dôvodu by sa mala každá konkrétna interpretácia (vy-svetlenie) Metódy v praktických úlohách formovať s neformalným zohľadnením skutočných podmieneností dôsledkov príčinami.

  2. NEEXISTUJE MANAŽÉRSKY VÝZNAMNÝ ROZDIEL MEDZI REÁLNOU PRÍTOMNOSŤOU A VYBRANOU BUDÚ-CNOSŤOU, za predpokladu, že prognostika je v súlade s hierarchicky vyšším objemnejším riadením a  do neho vložené (IT: zapuzdrené) čiastkové riadenie je uskutočňované kvalifikovane. T.j., ak proces čiastkového (v rámci celku) riadenia plynie v súlade s hierarchicky vyšším objemnejším riadením.

Proces je celostný (komplEXno-komplETný). Z tohto dôvodu chráni, ešte z nejakej príčiny neuskutočnená, avšak už morálne vybraná a objektívne Zhora NEzakázaná budú-cnosť v realizovanej prítomnosti tých, ktorí ju tvoria (s-Troja) na všetkých úrovniach:

Počínajúc od ochrany psychiky pred pokušeniami (klamom), až po ochranu pred cieľavedomou „fyzickou“ agresiou6. T.j., pokiaľ je matrica možných stavov (ona ale je matricou možných prechodov) vybraná v súlade s hierarchicky vyšším objemnejším riadením, je ona sama ochranou a zbraňou, prostriedkom riadenia, na ktoré je automaticky uzavretých (napojených a  „zamknutých“) všetkých 6 priorít prostriedkov zovšeobecnených zbraňových systémov a riadenia (manažmentu).

Objektívna existencia mat(r)íc možných stavov a prechodov sa prejavuje v tom, že v slepote možno „zablúdiť“ do nejakých matríc prechodu a  pocítiť na sebe ich objektívne vlastnosti. Subjektívne ich posudzujeme, v závislosti od vzťahu k týmto vlastnostiam, ako obdobia:

  1. výnimočného (jedinečného, zriedkavého) šťastia, či

  2. nudného „kolotoča“ stereotypov, alebo

  3. krutého, surového nešťastia.

No, pre používanie MDP (metódy dynamického programovania) a  jej osvojenie sprevádzajúcich algorytmicky neformalizovaných prejavov mat(r)íc prechodu v každodennom živote, je nevyhnutné DODRŽAŤ TO HLAVNÉ z podmienok:

V úlohách optimalizácie procesov riadenia je MDP - metóda dynamického programovania > funkčná iba vtedy, ak je určený vektor cieľov riadenia, t.j., musí byť vybratý, proces zavŕšujúci, určitý – jednoznačný - presný stav (želaný rovnovážny režim).

 

V skutočnosti (v realite) by tento zavŕšujúci (vrcholný, koncový) určitý stav mal byť vedome udržateľným a  prijateľným procesom, ktorý objíma a zahŕňa uvedenou metódou optimalizovaný čiastkový proces. Avšak výber a definovanie (presné určenie) príslušných charakteristík procesu, do ktorého má riadený (manažovaný) systém po zavŕšení algoritmu danej metódy vojsť, sa nachádza v oblasti „mystiky“, alebo v  oblasti metód, vyvinutých vo svojej podstate v NEmatematických náukach a remeslách (po h´ellénsky: „techné“).

 

Nech akýkoľvek by bol stav systému pred nasledujúcim krokom, je nevyhnutné vyberať riadenie na tomto kroku tak, aby výhra (úspech) na danom kroku plus optimálna výhra (úspech) na všetkých následných krokoch bola MAXIMÁLNA“ - cit.: E.S.Wentcel „Operačná analýza. Úlohy, princípy, metodológia.“(M.,“Science“, r. 1988, str.109)

 

Neschopnosť určiť (definovať) cieľový vektor riadenia (ktorého dosiahnutím sa má zavŕšiť danou metódou optimalizovaný proces) a (alebo) neschopnosť zistiť východzí stav objektu riadenia, neumožňuje postupovať podľa tohto, vyššie v citáte uvedeného, odporúčania. Zároveň táto neschopnosť objektívne uzaviera možnosti využitia metódy dynamického programovania, keďže začiatok a koniec procesu (presnejšie jeho konkrétnej sekvencie) musia byť určené v priestore parametrov, na ktorých je zostrojený matematický (alebo iný) model metódy. Ten zas má byť metodologicky udržateľný (v zmysle predikcie - predpovedateľnosti), čo je základom jeho vzťahu s realitou.

 

Je to vo vzťahu k nasledujúcim mnohovariantným krokovým prechodom o to spravodlivejšie, čím viac mat(r)ica možných stavov spadá pod známe ľudové príslovie: “Všetky cesty vedú do „Ríma“, a ktoré do „Ríma“ nevedú, nevedú nikam... t.j. vedú do „nebytia“ – do neexistencie. Ak je pre takýto druh procesov vybraný udržateľný cieľ, ku ktorému vedie množstvo trajektórii (ciest), tak sa pri udržateľnom krokovom riadení „rozptyl“ (rozostup) medzi optimálnymi trajektóriami (idúcimi k rovnakému cieľu z rôznych počiatočných pozícii) zmenšuje. Prebieha nevyhnutná aproximácia (krokové približovanie) až do úplného zjednotenia optimálnych trajektórií v istom konkrétnom, matematicky predpovedateľnom kroku. Toto tvrdenie je tým spravodlivejšie, čím lepšie určíme v objektívnom priestore tendencií vývoja parametrov stav konkrétneho vektora zavŕšujúceho zvolený proces. Ako analógiu by sme v ma-thématike vyššie uvedený jav mohli nazvať asymptotickou množinou trajektórií ...a asymptotičnosť množiny trajektórií je vyjadrená tým, že: „všetky cesty vedú do „Ríma“ – v „RIM“...“

...

 

-pokračování-

 

Diskusní téma: Metóda dynamického programovania ako algoritmické vyjadrenie dostatočne všeobecnej teórie riadenia (1)

odpoved Vasiľ

Miko | 15.01.2014

formulácia s f( ) je spravna. Ak sa pise x(n+1) znamena to tzv. diferenciu. Sptavne by to malo byť x[(n+1)*T] =F*x(nT)+g*u(n*T), kde T je konstantny "interval vzorkovania" (časoveho). Pretože ten inteval musi buť "konštantny" (aby nedošlo k nelinearnemu vzorkovaniu, ktore nevieme "explicitne" riešiť), a my dopredu vieme ake je T[s], tak sa pri ďalšom popise zanedbava. V rovnici je "F" štvorcova matica "dynamiky" systemu, a "g" je vektor , u(n*T) je "riadenie" [1x1] .
Tuto rovnicu zjednodusene mozno zapisať ako x(n+1)=f[x(n),u(n)].
Ak bude v rovnici veľke U(n), znamena to, že "riadenie" je viacrozmerne, teda je viac riadeni, je to vektor a potom musí byť "G" matica. Ak v zatvorke bude aj "n", znamena to, ze system ma "premenlivu" dynamiku v case, a matica systemu A (v spojitom case je to A, v diskretom prepise je to F) aj matica riadenia B (v spojitom case je to B, v diskretnom G) su funkciami casu, bude to neautonomny system resp. system, ktoreho dynamika sa v case mení. Musime poznať ako sa tato dynamika meni s casom, inak nedomazeme "pocitať" ani "prepocitať" spojite matice A,B na diskretne F,G. Je vhodnejšie predpokladať linearny autonomy system (bez zmeny dynamiky v case) a skutocne zmeny dynamiky v case (ak tie zmeny su pomalsie ako "riadenie", lebo ak nie tak to riadiť nedokazeme) eliminovať ďalsou, tzv. "adaptivnou" alebo "učiacou sa" spätnou väzbou".
V "ekonomike štatu" je "interval vzorkovania - T" jeden rok. Časove konštanty "dynamiky systemu" resp. štatneho rozpočtu, sú najmenej 5-10 rokov (pre elektricky motor su rádove v milisekundach). Ak by sa naozaj "realizovalo" ekonomicke riadenie v "realnom čase", tak sa eliminovali "poruchy" každy mesiac a nie po skončení "volebneho obdobia" resp. cca po 3 rokoch. Aj vo FED aj v ECB. Existuje priblizny vzťah medzi časovymi konštantami dynamiky systemu a "vhodným" intervalom vzorkovania, ktorý by bolo vhodne v ekonomike rešpektovať. Zatiaľ sa "teoria", ktora sa aplikuje pri riadeni "priemyselnych procesov" použiva v ekonomike iba na "zahmlievanie". Tym, že sa "nejasne alebo nepresne" koncepcie popisu "jazykom" matematiky, sa jasnými alebo presnými nestanu.

Re: odpoved Vasiľ

Vasiľ | 15.01.2014

x(n+1)=f[x(n),u(n)]
nie je len zjednodušený zápis tohoto:
x[(n+1)*T] =F*x(nT)+g*u(n*T)
Skôr by som povedal, že druhý vzťah vznikne linearizáciou prvého, teda je len približný.
Konštantnosť intervalu vzorkovania alebo iteračného času T nepovažujem za nutnú. Napríklad v šachovej partii je užitočné merať čas počtom ťahov a nie časom, ktorý ukazujú hodinky - samozrejme za predpokladu, že šachoví hráči nie sú tlačení "hodinovým" časom do zbrklých ťahov.
Teda ten iteračný čas T je z pohľadu hodín nekonštantný a z pohľadu počtu ťahov na šachovnici nemá žiaden zmysel.

A ešte k tvojmu vzťahu:
x[(n+1)*T] =F*x(nT)+g*u(n*T)
Predpokladám, že okrem snahy o linearizáciu ťa k napísaniu tohto vzťahu viedla aj snaha vytvoriť možnosť prepísať túto rovnicu na diferenciálnu rovnicu s modelom spojitého času (možno sa mýlim a krivdím ti). Častokrát je to veľmi výhodné, pretože mnoho diferenciálnych rovníc (najmä tých lineárnych) sa dá explicitne riešiť.
Lenže: nikde nie je zaručené, že vektor stavov X sa bude vyvíjať spojite s malými zmenami medzi jednotlivými krokmi, hoci často tomu tak aj je. Niekedy sú skoky veľké - napríklad zavedenie prohibície do legislatívy technicky zo dňa na deň (prakticky v priebehu mesiacov) spôsobilo v stave liehovarníctva významný a trochu nespojitý skok. Také niečo nemožno popísať diferenciálnou rovnicou, ku ktorej formulácii tvoj vzťah priam nabáda.

Teraz trochu všeobecnejšia poznámka ku linearite, ktorá priamo nesúvisí s témou, ale keď už tú linearitu spomínam:
Často sa stretávame povedal by som s pologramotným tvrdením tváriacim sa veľmi múdro a to že:
"Ľudia si často neuvedomujú silu exponenciálneho priebehu mnohých javov, ktorého zrada je v tom, že spočiatku sa tvári lineárne a po nejakom čase začne byť veľmi nelineárny a ľudia očakávajúci lineárny priebeh sú potom často nemilo prekvapení."
Lenže tí, čo toto tvrdia zabúdajú na to, že exponenciálny priebeh je typickým riešením LINEÁRNYCH rovníc.

Re: Re: odpoved Vasiľ

Vasiľ | 15.01.2014

Aby to zas nevyzeralo, že odsudzujem lineárne modely. Aj tie majú svoje nesporné výhody:
- dobre riešiteľné rovnice
- konečný počet parametrov úlohy - stačí konečný počet experimentov a systém mám (v rámci lineárneho modelu) dokonale popísaný. Ale len vtedy, ak je aj priestor stavov konečnorozmerný.
Nevýhoda:
- lineárny model platí len v tom prípade, ak je zaručené, že zmeny stavu systému budú dostatočne malé.

V tomto zmysle, ak vyjde exponenciálne riešenie ako riešenie lineárneho modelu, tak je to automaticky nekonzistentnosť, pretože lineárny model sa mohol použiť len za predpokladu, že zmeny budú malé, ale exponenciálny vývoj znamená veľké zmeny.
Ani v tomto prípade však výsledok netreba hneď zahadzovať, je však treba byť si vedomí jeho obmedzení - napríklad baktérie v skúmavke sa budú rozmnožovať celkom dobre exponenciálne ale len dovtedy, kým budú mať dostatočné množstvo živín, potom už exponenciálne riešenie a aj lineárny model prestanú platiť.

Teda hlavná myšlienka je, že linearizácia je dobrá, ale treba mať na vedomí jej možnosti a obmedzenia.

Snáď zbytočne neodbočujem a je to ešte vrámci rozumnej reakcie na príspevky od Mika.

Re: Re: odpoved Vasiľ

Miko | 15.01.2014

Aby sa system diferencialných rovníc, ktoré popisujú dynamiku "systému" v priestore jeho stavov, dal "prepísať" do systému diferenčných rovníc, musí byť interval vzorkovania konštantný. Matematika nepustí. Úvahy, ktoré boli uvedené v predošlej reakcii sú správne z hľadiska nášho "chápania", ale nevieme ich matematicky "formulovať" tak, aby existovalo v matematike ich explicetné riešenie.
Exponenciála je tiež "priamka", čiže kvázi linearita, ale v exponencialnom čase (na osi x-ovej). Príroda je lineárna v "exponencialnom" čase -viď citlivosť ucha, očí, a pod. Človek však "vníma" vývoj času "lineárne".
Aj keď neexistuje explicitné riešenie nelinearných diferencialných rovníc (cca 6 má riešenie a každá je pomenovaná po tom, kto ho našiel), dokážeme ich riešiť približne, numericky. To nie je "explicitné" riešenie, ale "približné" a je nutné "ošetriť", že to numerické riešenie v čase "medzi" intervalmi vzorkovania nie je nestabilné.
"Interval vzorkovania" T nie je "iteračný čas".
Vektor stavov je vždy "spojity" pre každý reálný (nie systém, ktorý som si sam zadefinoval, napr. systém, ktorý "predpovedá" budúcnosť, dá sa matematicky zapísať, ale v realite taký systém nepoznáme) systém. Nepozname reálný systém s "nespojitosťou" vo vývoji stavu. Ani v počítači sa hodnoty "napätia" nemnenia nespokite ale spojite. My sme si len zadefinovali, že tirto hodnodty budeme "merať" s frekvenciou napr. 1 MHz, teda v ustalených stavov (synchronne logické obvody). a pre takú frekvenci sa výstup teoreticky môže meniť medzi logickou nulou a logickou jednotkou v každom intervale vzorkovania. Vnútri týchto "intervalov" však stavy a výstupy logického sekvenčného obvodu sú také, že sú "nedefinovateľné" z pohľadu formalnej logiky a nazývame ich "hazardy". Preto sme "vymysleli" sekvenčné logické obvody, pri ktorých "hazardy" sú vylúčené.
Takže "nespojitosti" predtým popisované" je naša "formalizácia" popisu reality, taká, aby to bolo teoreticky aj prakticky využiteľné.
Ďakujem za reakciu, "vnútri" vlastného pohľadu sú vždy nejaké medzery, ktoré vidí len nestranný pozorovateľ. Vo vede sa stále nájde aj nestranný recenzent ale v politike nie sú dovolení (väčšinou). Ekonomika je z môjho pohľadu ešte stále slúžkou politiky, ktorú realizuje GPP, preto sú v nej dovolené rôzne nedôslednosti, ktoré v matematike a fyzike ako vedách neobstoja.

Re: odpoved Vasiľ

udo | 20.01.2014

Mohli by ste ma "prezvoniť" na udo321123@azet.sk kvôli potenciálnym ďalším technickým konzultáciám.
Priebežne riešime totiž viacero úloh tohoto druhu a každá hlava dobrá..

Nechcel som sa ozývať, pokiaľ celé MDP nebude na stránke,
keďže sa pri ňom postupuje "od konca", ak chápete..

Dik
u.

otvorena slucka

Miko | 15.01.2014

Metoda dynamickeho programovania (Bellman) pouziva riadenie v "otvorenej slucke", preto nedokaze odstranovat poruchy, ktore nastanu v "realnom case", teda pocas riadenia. Hodi sa na tzv. "optimalne planovanie", preto sa aj pouziva v "operacnom vyskume" resp. v "ustalenom stave", po starom v "statickych systemoch". Lubovolna porucha v realnom case sposobi, ze nebude dosiahnute "riadenie", teda ziadany cielovy stav. Preto je to iba "planovanie" (scheduling), v ktorom nemozno eliminovat poruchy, o ktorych neviem kedy pridu. Optimalne riadenie podla Pontrjagina a kol. dokaze "vypocitat" spetnovezobne optimalne riadenie" spojitych alebo diskretnych systemov ako explicitnu funkciu. Nepocita pritom s poruchamy, ale pretoze je to v uzavretej riadiacej slucke "automaticky" efektivne odstranuje poruchy. Teraz nemam cas pisa5 rovnice, ale teoreticky aj prakticky "optimalne riadenie" ovladam, najme casovooptimalne a energeticky optimalne. V manazerskom riadeni sa robi zasadna chyba v tom, ze ked sa formuluje "nova" teoria v automatickom riadeni" tak zmenia jej "nazov" napr prehodenim slovosledu a vyhlasia to za novu ekonomicku teoriu. Napr. "dynamika systemu" vseobecene a "systemova dynamika" v ekonomike. Najvacsi nezmysel je aplikacia "Z -transformacie" alebo Kalmanovho filtra na prognozovanie ekonomickych dat (o tom neskor).

a predsa oku utieklo

popolvár | 15.01.2014

kurnajs, strávil som nad korektúrou more casu a aj tak mi uslo pár typografických chybiciek. Nevadí, podstata, ze je to zrozumitelné...

možnože ešte predčasná poznámka

Vasiľ | 15.01.2014

Ale predsalen ju skúsim sformulovať:
V podmienke 1. je vzťah:
X_{n+1} = f(X_n,U_n,n)
Zarazilo ma, načo je tam aj tretí argument zobrazenia {f} teda {n}, keď to {n} sa nachádza v {X_n} a {U_n} v prvých dvoch argumentoch {f}. Potom som si uvedomil, že ten zápis je ekvivalentný zápisu:
X_{n+1} = (f_n)(X_n,U_n)
Teda, že podmienky formovania nového stavu závisia aj od čísla konkrétneho kroku (času) a nie len od pôvodného stavu krokového riadenia. Rozumiem tomu správne?

Čisto matematicky je ten druhý vzťah rovnako dobrý ako ten prvý, ale prvý vzťah viac evokuje celistvosť celého procesu dynamického programovania (aspoň pre mňa). Druhý vzťah zase čisto psychologicky trochu evokuje nepredvídateľnosť zmien podmienok.
Môže ísť o príklad, keď čisto formálny analytický prístup nestačí a treba tak trochu zohľadniť aj psychológiu čitateľa?

Zatiaľ som si to celé len tak narýchlo prečítal a určite sa k tomu ešte vrátim, tak preto možno tá predčasnosť mojej poznámky.

Re: možnože ešte predčasná poznámka

Pe-tri | 15.01.2014

Já tomu rozumím taky tak. Dle mne jde o to, že nová situace ("po bitvě") musí být závislá nejen na výchozím stavu a kvalitě vedení/řízení této bitvy, ale i samotném počtu již uskutečněných bitev v minulosti, tedy správně času, čili celkové době vedení "války" (nebo vzdělávání se). Ono kdyby tam tento argument nebyl, jednal by to mohlo vézt k neřešitelným patovým situacím (zacyklením, rozkmitáním řízeného procesu), druhak by vypadl ze hry automaticky a implicitně účinkující faktor času/evoluce, který do řízení procesu vstupují vyšší úrovně. Prostě žádná změny situace není identická a co stačilo výhře dnes, nemusí stačit, zítra (i na to přece GP dnes dojíždí). Čas v průběhu procesů prostě pracuje sám o sobě a "nestranně" stojí na něčí straně.

DVTR plná verzia

Ferko | 14.01.2014

Mne vysvetlivky nerobia problém. Som za ich zachovanie. Pri prvom čítaní DVTR(nie mechanicky) som to prečítal kompletne, aj s vysvetlivkami. Je pravda, že to človeka dosť rozhodí, keď sa má veľmi často obracať na ne. Túto dobu som pri druhom čítaní. Už som množstvo slov odvolávajúcich sa na vysvetlivky pochopil a nemám potrebu si ich prečítať. A ďalej by sa to malo ešte zlepšovať. Niekedy preskočím aj to čo je v zátvorke medzi bežným textom(už približne viem čo tam je), alebo to ako keby rýchlejšie prebehnem, aby som nestratil naladenú spojitosť.

hox

Stretnutie | 14.01.2014

Veľké poďakovanie za preklad. Aj keď si zatial pozerám iba obrázky,cítim,viem,že toto je kľúčový článok. Nechcem zdržovať,ale m u s í m Vám napísať o niečom,čo sa mi stalo ešte ako študentke. V treťom ročníku sito...skúšky zo statiky. Jedna rovnica tak na A 4 a tých rovníc možno tridsať. Išli sme ako telce na porážku do kabinetu,zmierení so všetkým. Určite som bola všetko iné,len nie primus ročníka .-). Toto je pravda,čo Vám píšem,nikdy na to nezabudnem. V jednom okamihu akoby ma osvietilo,či ako to bolo.....snáď nejaký Laplace si ku mne prisadol,či sám Pythagoras,ja som akoby v tranze sypala z rukáva všetko,vzorce,čísla ...dokonalé. Zdalo sa mi to fakt nenormálne jednoduché....skúšajúci v šoku,ale napísal ....jedna. .-)))Škoda,tento záchvat geniality sa u mňa už nikdy nezopakoval. Ale v tejto chvíli prosím,prosím tie iskričky z noosféry,aby nás všetkých poprášili svojim zlatým prachom,tie naše hlávky,a a by sme zrazu,keď aj nie všetci,ale aspoň niektorí z nás pochopili,aké sú naše možnosti. A to je súčasne aj moje zadanie za Kritérium V-plná výhra.

Obor platnosti MDP

Pe-tri | 14.01.2014

Souhlas a bezpochyby, čím víc jsme schopni v životě aplikovat tuto cílově orientovanou metodu, tím víc máme praktický život pod kontrolou, to bezesporu. Kdyby se rozrostl počet lidí takto jednajících, asi by měl GP rychle o hodně větší starosti.

Již delší dobu si ovšem kladu otázky (a asi jsou vysledovatelné z mých diskusních příspěvků), které cíle snažení (smysl lidského života) skutečně posouvají do oblasti "mystiky" tedy mimo rámec použitelnosti MDP. Co s tím ? Zatím jdu cestou (nejdříve pomoz sobě až potom druhým), kdy se snažím uchopit tyto "mystické" cíle (Království Boží) a tím si k jejich dosažení zpřístupnit MDP.
Jenže se ukazuje, že pozemský lidský život je z vyšších úrovní (HNR) naprogramován jako posloupnost, kdy další cíl je definován a dostupný až po zdolání cíle předchozího a jako pomůcky k dosažení cíle jsou k dispozici pouze pomocné indície-prostředky-nápovědy-přikázání v podobě objektivních zákonitostí (a ty je samozřejmě potřebné jako axiomy znát). Takto pojatá cílovost lidského života totiž ani není plně objektivní. Je směsicí subjektivnosti a objektivnosti. Objektivní je v tom, že jsme všichni ve stejné situaci jak s životem naložit (zvládnout ho a nepromarnit), subjektivní v tom, že každý konkrétně řešíme jiné problémy dané mírou našeho individuálního (ne)chápání smyslu lidského života a lidské společnosti.
Ono není na místě přehlížet Budhovu výzvu - parafrázuji: k čemu je nám veškeré snažení dobré, když nás stejně neminou útrapy typu: nemoci, stárnutí, smrt ? Nebo se jim můžeme vyhnout? Budha učí že ano a říká - zaměřte pozornost do sebe, čemuž se ovšem taky dá rozumět tak, že říká - osvoboďte se (zpod vlivu GP) a udělejte ze sebe Člověka a pochopíte smysl nemocí, stárnutí i smrti.

Re: Obor platnosti MDP

udo | 14.01.2014

hmmm..nooo..trochu by som doplnil.
Áno, začinať od seba, no zároveň spolupracovať s druhými.
Bez toho to nejde.
Vzdelávať sa postupne, no myslieť globálne a konať lokálne.
A ciele "Allahove"..Manituove?
..nooo rozhodne menej money-too..
i když "bez peněz daleko nedolez.."

Škoda bolo by ich potenciál přiměřeně nevyužiť..
Tak, ako iné nástroje, čo predkovia nám dali..
Tak Vám asi aj každý sedlák po zamyslení,
keď sa z hory vrátil povie,
čo na mieste Boha prial by si
od dietok a s nimi totam dole..

I sám nebyť i vesmír zmeniť, zladiť
i na kombinácie veselšie prísť,
zmenu zrýchliť "energiou" nabiť..
apod.

..a keď znova do lesa vekov zbehne
piesňou novou hlava sa mu prehne.
..na to rybník, more, lúku báči,
a z blízkych pohľad, myseľ Jeho "páči"

Pôvodné Budhove myšlienky ušli trochu bokom
vďaka moci, klamu jelít do válova tokom.
Bo cesta LEN cez seba je tak hlúpa
ako obeta pre druhých voči Bohu skúpa.

Boh je aj v tebe, no bohmi nie sme,
tak, ako stôl na stolárovom mieste,
hoc iskru jeho v sebe nesie.
Preto tak cez 1.blízkych, ako i cez 2.seba,
rozpráva k tebe Boha 3.pri-roda.

Nemoci sú len upozornením na anomálie
v myslení tvojom a okolia s tebou napojenom.
Aj preto nemôžeš byť ani v mysli nezávislý.

Niet smerti Ratibor!..Race..Ratze
Vesmír nevznikol a je tu večne
a my sním nekonečne.
Len formy svoje meníme,
tým rýchlejšie, ak leníme.
Kto však veci po-malé, hlavné rozpozná,
tomu forma, norma jeho tunajšia, bude výhodná.
Bo času niet a s tým aj nutnosť "smrti" odpadá.
Tak je pri ich uchopení koniec mýtom Issu, záhadám.
Bo to, čo on, vie každý zrobiť, stači len sa znovu zrodiť.
Veď všetko k tomu vlastne máme
a preto otázkou je:
Prečo stále klamať sa dáme?

V tomto zmysle ide o logicky skôr o nedostatočné pochopenie Budhovho učenia, resp. cestu vlakom jeho umelej zámernej dezinterpretácie. Tak aj u Issu, Mahomeda, Ankh´n´Atona a spol..

Re: Re: Obor platnosti MDP

Pe-tri | 14.01.2014

Moc hezké, děkuji a souhlasím. Možná jen příliš preferuji motivaci před samotným konáním. Je to skutečně všechno o tom hledání rovnováhy mezi dobrým sluhou a zlým pánem a iteračním řešením tohoto hledání. Možná stačí neztrácet ze zřetele, že odpověď na otázky typu - co je důležitější, zvítězit nebo se zúčastnit, já nebo ostatní atd. - je stejná jako otázka - co je důležitější, levá nebo pravá noha ?
Ještě jednou díky, obsah i forma Vaší odpovědi mě velmi potěšila.

MDP

udo | 14.01.2014

Soráč, až teraz som čítal mail..
Ako som napísal, zo skusenosti som za maximalnu "blbuvzdornosť" tých programov.

Čo myslíš s tým Puškinom?
Ktorú analytiku?
Odhady jeho kognitívnych schopností vzhľadom na pravdepdoobnosť podprahového používania MDP?

Každý to do istej mieru užíva, len si to neuvedomuje.
Obmedzene vedome akurát niektorí manažéri po špecifických školeniach neurolingvistického programovania.
..a samozrejme čiastočne absolventi príslušných katedier..
Keď to ľudia začnú robiť vedome a masovo, pôjde samozrejme politicky o úplne iné kafe. Buď sa meédiá posunú, alebo pôjdu do "hája"..na sebareflexiu :D

I tak..rozpadá sa ohrada, bo bača ten,
vožralej v tínu jedle spí , strihnutá jeho brada.
Max 12 r.?

Re: MDP

Hox | 14.01.2014

http://dev.m3ra.ru/2011/future-dynamic-programming/
teď nemám čas, ozvu se později..

hox

udo | 14.01.2014

Ako písal aj Pe-tri..
kvôli diskusnej korekcii a dovysvetľovaniu, kolektívnemu dopracovaniu textu(programov a ich aplikácii)..

Tie komplikácie s vysvetlivkami sa dajú vyriešiť tak, že ich proste vymažeme.
Daj tu len holý text a záujemcovia si môžu stiahnuť full-verziu aj s vysvetlivkami. hneď pod tým.
Aby tu nebol len odkaz.
Hmm?

Re: hox

popolvár | 15.01.2014

plná verzia bude len v pdf? V doc uz nie?

Re: Re: hox

Hox | 15.01.2014

i doc, ale až kompletní kapitola..

Přidat nový příspěvek