Paslėptas Markovo modelis: Įžanga

Po truputi ruošiames baigiamąjam darbui, todėl pradėjau versti vieną gerą paslėpto Markovo modelio vadovą “A tutorial on Hidden Markov Models and Selected Applications in Speech Recognition”. Pateikiu Jums išverstą įvadą.

Nors ir buvo pristatyti dar vėlesniais 1960-tais ir ankstyvais 1970-tais metais, statistinis Markovo metodas arba paslėptas Markovo metodas tapo labai populiarūs tik paskutiniais metais. Yra dvi pagrindinės priežastys kodėl taip nutiko. Pirma, modeliai yra stipriai pagrįsti matematiškai ir iš to galima suformuoti teoretinę bazę modelių taikymui. Antra, modeliai, reikiamai pritaikyti, labai gerai dirba praktikoje, svarbiuose įtaisuose. Šiame vadove pabandysime atsargiai ir metodiškai apžvelgti teoretinius šio tipo statistinio modelio aspektus ir parodyti kaip jie yra pritaikomi balso atpažinimo problemoms spręsti.

Realaus pasaulio procesus paprasčiausiai galime apibūdinti signalais. Signalai gamtoje gali būti diskretiniai (raidės iš žodyno) arba nuolatiniai (garsiniai signalai, temperatūros matavimai). Signalo šaltinis gali būti stacionarus (jo statistiniai apibrėžimai nepriklauso nuo laiko), ar nestacionarus (signalo apibrėžimai laikui bėgant kinta). Signalai gali būti gryni (siunčiami tiesiai iš šaltinio), ar pažeisti iš kitų signalų šaltinių (kaip pavyzdžiui triukšmo) arba dėl perdavimo trukdžių, aido, kt.

Fundamentinio tipo svarbi problema yra charakterizuoti tokius, realaus pasaulio, signalus į signalų modelį. Yra keletas priežasčių dėl ko šitą problemą yra būtina spręsti. Pirmiausiai, signalo modelis suteikia mums pradinę informaciją apie signalą, kuria remiantis yra galima apibrėžti reikalingą signalą sistemos išėjime. Pavyzdžiui, mus domina pokalbio, vykstančiu telefonu, signalo sustiprinimas. Signalas yra pažeistas triukšmo ir perdavimo kliūčių. Tokiam uždaviniui atlikti mes galime panaudoti signalų modelį ir suprojektuoti sistemą, kuri pašalins nereikalingą triukšmą ir anuliuos perdavimo iškraipymą. Antra priežastis kodėl signalų modelis yra toks svarbus yra tai, kad jis potencialiai mums gali pasakyti labai daug apie signalo šaltinį, net jeigu mes jo nematome. Ši savybė yra labai svarbi, kai yra būtina gauti tikslų signalą iš šaltinio. Šiuo atveju, su geru signalo modeliu, mes galime simuliuoti signalo šaltinį ir išmokti kuo daugiau iš tokių simuliacijų. Galiausiai, pagrindinė priežastis kodėl signalo modelis yra toks svarbus – jis velniškai gerai veikia praktikoje ir leidžia mums suvokti svarbias praktines sistemas, pavyzdžiui spėjimo sistemos, atpažinimo sistemos, identifikavimo sistemos, kt.

Galima pasirinkti keletą signalo modelio tipų, kuriais galima apibūdinti nagrinėjamo signalo ypatybes. Vienas signalas gali būti išskaidytas į keletas jo sudedamąsias klases: deterministinį modelį ir statistinį modelį. Deterministinis modelis parodo pagrindinę informaciją apie signalą: ar signalas yra sinusinės formos, ar yra eksponentinė suma, kt. Tokiais atvejais, signalo apibūdinimas yra gan paprastas uždavinys. Viskas, kas reikalaujama yra nustatyti signalo modelio parametrų reikšmes (amplitudę, dažnį, fazę, kt.). Antra signalo modelio plati klasė yra statistinis modelis, kuris bando charakterizuoti statistinius signalo parametrus. Tokių statistinių modelių pavyzdžiai yra Gauso procesas, Poisono procesas, Markovo procesas, paslėptas Markovo procesas. Paslėpta prielaida yra ta, kad signalas gali būti gerai charakterizuotas kaip parametrinis atsitiktinis procesas, ir jo stochastinio proceso parametrai gali būni nustatyti tiksliai, gerai apibūdintai.

Įdomumo dėlei, nusakytas kalbos atpažinimas, abudu deterministiniai ir stochastiniai signalo modeliai turi didelį pasisekimą. Šitame straipsnyje mes orientuosimės į vieną stochastinį signalo modelį, kuris pavadintas paslėptas Markovo modelis (angliškai: hidden Markov model (HMM)). Pirmiausiai mes apžvelgsime Markovo grandinės teoriją ir ją plėsdami prieisime prie paslėpto Markovo modelio, panaudodami kelis pavyzdžius. Tuomet sutelksime savo dėmesį į tris fundamentines problemas, su kuriomis susiduriama projektuojant HMM: stebėjimo eilės tikimybės vertinimas specifiniam HMM; geriausios modelio būsenos eilės nustatymas; modelio parametrų apibrėžimas, siekiant gauti norimą signalo atsakymą. Mes parodysime, kad kai šios tris fundamentinės problemos yra išspręstos, mes galime taikyti HMM nurodytoms problemos spręsti balso atpažinimo sistemose.

Nei paslėpto Markovo modelio, nei balso atpažinimas nėra naujas dalykas. Pagrindinė teorija buvo paskelbta Baumo ir jo kolegų dar vėlyvais 1960, ankstyvais 1970 metais ir pritaikyta balso atpažinimo sprendimams Bakerio CMU ir Jelinek su kolegomis IBM 1970 metais. Tačiau, paplitęs supratimas ir HMM teorijos kalbos atpažinimo sprendimai pasirodė tik prieš kelerius metus. Tai nutiko dėl kelių priežasčių. Pirma, paslėptas Markovo modelis buvo publikuotas matematiniuose žurnaluose, kurie pagrinde nebuvo skaitomi inžinierių, kurie dirbo prie balso atpažinimo. Antra priežastis yra ta, kad pagrindiniai balso atpažinimo sprendimai nebuvo gerai dokumentuoti daugeliams vartotojų, todėl buvo sunku suprasti kokiu principu veikia sprendimas ir inžinieriai negalėjo perkelti modelio į savo tyrimus. Kuomet detalūs vadovai buvo išleisti, inžinieriai perkėlė teoretinį modelį savo laboratorijas. Šitas vadovas yra skirtas suteikti pagrindinės HMM teorijos apžvalgą (kaip ją pateikė Baumas ir jo kolegos), sutekti praktines teorinio metodo diegimo detales ir aptarti keletą nurodytų teoretinių aiškių problemų sprendimų pavyzdžių kalbos atpažinime. Vadovas sudeda iš kelių sudėtų straipsnių ir suteikia vientisą vadovą, kuris suteikia reikiamą užnugarį norint dirbti šios sferos tyrimų srityje.

Šis vadovas susideda iš sekančių sekcijų. Antroje sekcijoje mes apžvelgsime diskrečią Markovo grandinę ir parodysime paslėptos būsenos koncepciją, kur stebėjimas yra problematiška būsenos funkcija, gali būti efektyviai panaudota. Teoriją iliustruosime dvejais pavyzdžiais: monetos supimas, klasikinė kamuoliuko ir urnos sistema. Trečioje sekcijoje mes aptarsime tris fundamentines HMM problemas, ir suteiksime tris praktines technikas jas sprendžiant. Ketvirtoje sekcijoje mes aptarsime skirtinus HMM tipus, kurie buvo išstudijuoti: ergodinis ir kairys-dešinys modelius. Šioje sekcijoje mes taip pat aptarsime skirtingas modelio ypatybes, kaip stebėjimo skaičiaus funkcija, būsenos trukmės skaičius ir optimizavimo kriterijus, pasirenkant teisingas HMM parametrų reikšmes. Penktoje sekcijoje mes aptarsime problemas, kuris kyla diegiant HMM, kaip mastelio keitimas, pradinių parametrų sąmatos, modelio dydis, modelio forma, duomenų praradimas ir daugialypės stebėjimo seką. Šeštoje sekcijoje mes aptarsime izoliuotą žodžių iš balso atpažinimą, kuris yra suprojektuotas, naudojantis HMM idėjomis ir parodysime kaip jis elgiasi, lyginant su kitomis, alternatyviomis sistemomis. Septintoje sekcijoje mes išplėsime idėjas, aptartas šeštoje sekcijoje, ir pritaikysime jas sakinio atpažinimui. Tam mes jungsime atskirus, kiekvieno žodžio HMM modelius. Aštuntoje sekcijoje mes trumpai apžvelgsime didelį balso atpažinimo žodyną ir galiausiai, devintoje sekcijoje mes apibendrinsime visas idėjas, kurias aptarinėjome per visą vadovą.

Dirbtinis intelektas #1

Pratarmė

Būdamas Helsinkyje, savo universiteto bibliotekoje atradau pakankamai literatūros pradėti intensyviau studijuoti savo hobį ir galbūt būsimo bakalaurinio temą – dirbtinį intelektą.

Iškarto noriu atsiprašyti už kai kuriuos žodžius, kurie gali pasirodyti “nelietuviški” ( angliškas variantas + raidė “s” ).

Įžanga

Šiuolaikinis požiūris į dirbtinį intelektą susiformavo 1940 metais dėka Warren McChlloch ir Walter Pitts darbo. Jie parodė, jog dirbtinių neuronų tinklas gali potencialiai išspręsti bet kokią aritmetinę ar loginę lygtį. Jų darbas žymimas kaip dirbtinio intelekto raidos pradžia.

Neuronas

Koks dirbtinis intelektas be dirbtinio neurono? Norint suprasti kaip dirba dirbtinis neuronas, reikia išsiaiškinti kaip dirba biologinis neuronas.

Supaprastintai, neuronas turi tris pagrindinius komponentus:

  1. Dendridus
  2. Ląstelinį kūną
  3. Aksoną

Dendridai yra medžio tipo nervų skaidulų priimamieji tinklai, kurie siunčia elektrinį signalą į ląstelinį kūną. Ląstelinis kūnas efektingai sudeda visus ateinančius signalus. Aksona yra vienetinė nervinė skaidula, kuri perduoda signalą iš ląstelinio kūno kitiems nervams. Toje vietoje, kur susiduria aksona ir kito nervo dendridas, vadinamas sinapse.

neuronas

( Paišau nelabai )

Žymenis

Toliau tęsiant reikia susitarti dėl žymenų:

  • Skaliarai bus žymimi mažomis raidėmis: a,b,c.
  • Vektoriai bus žymimi mažimos paryškintomis raidėmis a,b,c.
  • Matricos bus žymimos didžiosiomis paryškintomis raidėmis A,B,C.

Vieno-įėjimo neuronas

Remiantis biologiniu neuronu, galime sukonstruoti dirbtinį neuroną.

vieno įėjimo neuronas

Skaliaras p yra padauginamas iš svorio w ir pw keliauja į sumavimo įrenginį. Kitas įėjimas, kurio vertė yra pastovi – 1, yra padauginamas iš nuolydžio b ir tuomet gauta reikšmė siunčiama į sumavimo įrenginį. Sumavimo įrenginys sudeda abi atėjusias reikšmes ir išsiunčia skaliarą n į perdavimo funkciją, kuri sugeneruoja išėjimo skaliarą a.

Svoris w priklauso nuo sinapsės jėgos, sumavimo įrenginys atstoja ląstelės kūną, o perdavimo funkcija ir skaliaras a atstoja aksoną.

Perdavimo funkcijos

Perdavimo funkcijos atlieka šiokį tokį filtravimą. Dažniausiai naudojamos trys:

  1. Sunkios ribos perdavimo funkcija;
  2. Linijinė perdavimo funkcija;
  3. Logaritminė ( Log-Sigmoid ) perdavimo funkcija;

Sunkios ribos perdavimo funkcija

Sunkios ribos perdavimo funkcija išėjimui atiduoda 0, jeigu funkcijos argumentas yra mažesnis už 0 ir 1, jeigu funkcijos argumentas yra didesnis už 1. Paprasta, argi ne ? Formulės pavidalu tai atrodytų taip:

a = hardlim(n)

sunkios ribos perdavimo funkcija

Linijinė perdavimo funkcija

Linijinė perdavimo funkcija išėjimui duoda lygiai tą patį funkcijos argumentą. Formulės pavidalu tai atrodytų taip:

a = purelim(n)

linijinė perdavimo funkcija

Pagalvojus – kam tokios funkcijos reikalingos? Tačiau tokio tipo funkcijos naudojamos ADALINE tinkluose.

Logaritminė ( Log-Sigmoid ) perdavimo funkcija

Logaritminė ( Log-Sigmoid ) perdavimo funkcija paima sumavimo įrenginio išėjimą ( kuris gali būti bet koks skaičius nuo minus begalybės iki plius begalybės ) ir jį suspausti tarp 0 ir 1, remiantis tokia išraiška:

a = 1/(1+e^(-n))

Formulėje tai atrodo taip:

a = logsig(n)

logaritminė perdavimo funkcija

Tokia funkcija yra plačiai naudojama keletos sluoksnių tinkluose, kurie treniruojami backpropogation algoritmu, kadangi ši funkcija yra diferencijuojama.

Išvados

Šitam įraše paminėjome kieno dėka pradėjo judėti dirbtinio intelekto mokslas, iš ko sudarytas ir kaip veikia papraščiausias dirbtinis neuronas, kokios yra perdavimo funkcijos. Kitam įraše aptarsim keletos įėjimų neuroną ir neuronų architektūros įžangą.