Mašininio mokymosi (ML) problemos apibrėžimas apima sisteminį požiūrį į užduoties formulavimą taip, kad ją būtų galima išspręsti naudojant ML metodus. Šis procesas yra labai svarbus, nes jis sudaro pagrindą visam ML dujotiekiui, nuo duomenų rinkimo iki modelio mokymo ir vertinimo. Šiame atsakyme apibūdinsime algoritminius veiksmus, skirtus ML problemai apibrėžti, pateikdami išsamų ir išsamų paaiškinimą.
1. Nurodykite tikslą:
Pirmasis žingsnis yra aiškiai apibrėžti ML problemos tikslą. Tai reiškia, kad reikia suprasti norimą rezultatą arba prognozę, kurią turėtų pateikti ML modelis. Pavyzdžiui, atliekant el. pašto šiukšlių klasifikavimo užduotį, tikslas gali būti tiksliai klasifikuoti el. laiškus kaip šlamštą arba ne šlamštą.
2. Suformuluokite problemą:
Nustačius tikslą, reikia suformuluoti problemą. Tai apima ML problemos tipo nustatymą, kuris gali būti priskirtas vienai iš šių kategorijų:
a. Prižiūrimas mokymasis: jei yra pažymėti duomenys, problema gali būti suformuluota kaip prižiūrima mokymosi užduotis. Tai apima išvesties kintamojo numatymą iš įvesties kintamųjų rinkinio, pagrįsto mokymo duomenų rinkiniu. Pavyzdžiui, būsto kainų prognozavimas pagal tokias savybes kaip vieta, dydis ir kambarių skaičius.
b. Mokymasis be priežiūros: jei yra tik nepažymėti duomenys, problema gali būti suformuluota kaip neprižiūrima mokymosi užduotis. Tikslas yra atrasti duomenų šablonus ar struktūras be jokio iš anksto nustatyto išvesties kintamojo. Klasterizacijos algoritmai, tokie kaip K vidurkis, gali būti naudojami panašiems duomenų taškams sugrupuoti.
c. Stiprinamasis mokymasis: stiprinant mokymąsi agentas išmoksta bendrauti su aplinka, kad padidintų atlygio signalą. Problema suformuluota kaip Markovo sprendimų procesas (MDP), kai agentas imasi veiksmų pagal esamą būseną ir gauna grįžtamąjį ryšį atlygio forma. Pavyzdžiui, agento mokymas žaisti žaidimus ar valdyti robotus.
3. Apibrėžkite įvestį ir išvestį:
Toliau svarbu apibrėžti ML problemos įvesties ir išvesties kintamuosius. Tai apima ypatybių ar atributų, kurie bus naudojami kaip ML modelio įvestis, ir tikslinio kintamojo, kurį modelis turėtų numatyti, nurodymą. Pavyzdžiui, nuotaikų analizės užduotyje įvestis gali būti tekstinis dokumentas, o išvestis yra nuotaikų etiketė (teigiama, neigiama arba neutrali).
4. Surinkite ir iš anksto apdorokite duomenis:
Duomenys vaidina lemiamą vaidmenį ML, todėl labai svarbu surinkti tinkamą duomenų rinkinį nagrinėjamai problemai spręsti. Tai apima atitinkamų duomenų, atspindinčių realų scenarijų, pagal kurį modelis bus įdiegtas, rinkimą. Duomenys turi būti įvairūs, reprezentatyvūs ir apimti platų galimų įvesties ir išvesties skaičių.
Surinkus duomenis, reikia atlikti išankstinio apdorojimo veiksmus, kad būtų išvalyti ir transformuoti duomenys į tinkamą ML algoritmams formatą. Tai gali apimti dublikatų pašalinimą, trūkstamų reikšmių tvarkymą, funkcijų normalizavimą ir kategorinių kintamųjų kodavimą.
5. Padalykite duomenų rinkinį:
Norint įvertinti ML modelio našumą, būtina padalyti duomenų rinkinį į mokymo, patvirtinimo ir testavimo rinkinius. Mokymo rinkinys naudojamas modeliui mokyti, patvirtinimo rinkinys naudojamas hiperparametrams derinti ir skirtingiems modeliams įvertinti, o testavimo rinkinys naudojamas galutiniam pasirinkto modelio veikimui įvertinti. Duomenų skaidymas turėtų būti atliekamas atsargiai, kad kiekviename rinkinyje būtų reprezentatyvūs mėginiai.
6. Pasirinkite ML algoritmą:
Atsižvelgiant į problemos formuluotę ir duomenų tipą, reikia pasirinkti tinkamą ML algoritmą. Yra įvairių algoritmų, tokių kaip sprendimų medžiai, paramos vektorių mašinos, neuroniniai tinklai ir ansamblio metodai. Algoritmo pasirinkimas priklauso nuo tokių veiksnių kaip problemos sudėtingumas, turimi skaičiavimo ištekliai ir aiškinamumo reikalavimai.
7. Išmokykite ir įvertinkite modelį:
Pasirinkus algoritmą, modelis turi būti apmokytas naudojant mokymo duomenų rinkinį. Mokymo metu modelis sužino pagrindinius duomenų modelius ir ryšius. Po mokymo modelis įvertinamas naudojant patvirtinimo rinkinį, kad būtų galima įvertinti jo veikimą. Modelio našumui įvertinti galima naudoti tokias metrikas kaip tikslumas, preciziškumas, prisiminimas ir F1 balas.
8. Tiksliai sureguliuokite ir optimizuokite:
Remiantis našumo įvertinimu, modelį gali tekti tiksliai sureguliuoti ir optimizuoti. Tai apima hiperparametrų, tokių kaip mokymosi greitis, reguliavimas ar tinklo architektūra, koregavimą, siekiant pagerinti modelio veikimą. Norint rasti optimalius hiperparametrus, galima naudoti tokius metodus kaip kryžminis patvirtinimas ir tinklelio paieška.
9. Išbandykite ir įdiekite:
Kai modelis yra tiksliai sureguliuotas ir optimizuotas, jį reikia išbandyti naudojant testavimo duomenų rinkinį, kad būtų gautas galutinis našumo įvertinimas. Jei modelis atitinka norimus našumo kriterijus, jį galima įdiegti gamybinėje aplinkoje, kad būtų galima numatyti naujus, nematomus duomenis. Norint užtikrinti nuolatinį modelio veikimą, gali prireikti periodiškai stebėti ir atnaujinti modelį.
Problemos apibrėžimas ML apima sisteminį algoritminį metodą, kuris apima tikslo nustatymą, problemos formulavimą, įvesties ir išvesties apibrėžimą, duomenų rinkimą ir išankstinį apdorojimą, duomenų rinkinio padalijimą, ML algoritmo pasirinkimą, modelio mokymą ir įvertinimą, koregavimą ir optimizuoti ir galiausiai išbandyti bei įdiegti modelį.
Kiti naujausi klausimai ir atsakymai apie EITC/AI/GCML „Google Cloud Machine Learning“:
- Kas yra tekstas į kalbą (TTS) ir kaip jis veikia su AI?
- Kokie yra apribojimai dirbant su dideliais duomenų rinkiniais mašininio mokymosi metu?
- Ar mašininis mokymasis gali padėti dialogui?
- Kas yra TensorFlow žaidimų aikštelė?
- Ką iš tikrųjų reiškia didesnis duomenų rinkinys?
- Kokie yra algoritmo hiperparametrų pavyzdžiai?
- Kas yra ansamblinis mokymasis?
- Ką daryti, jei pasirinktas mašininio mokymosi algoritmas netinka ir kaip įsitikinti, kad pasirinksite tinkamą?
- Ar mašininio mokymosi modelį reikia prižiūrėti jo mokymo metu?
- Kokie pagrindiniai parametrai naudojami neuroniniais tinklais pagrįstuose algoritmuose?
Peržiūrėkite daugiau klausimų ir atsakymų EITC/AI/GCML Google Cloud Machine Learning