Nustatyti, ar mašininio mokymosi modelis yra tinkamai parengtas, yra labai svarbus modelio kūrimo proceso aspektas. Nors tikslumas yra svarbi metrika (ar net pagrindinė metrika) vertinant modelio našumą, tai nėra vienintelis gerai parengto modelio rodiklis. Didesnis nei 90 % tikslumas nėra universali visų mašininio mokymosi užduočių riba. Priimtinas tikslumo lygis gali skirtis priklausomai nuo konkrečios sprendžiamos problemos.
Tikslumas yra matas, nurodantis, kaip dažnai modelis daro teisingas prognozes iš visų pateiktų prognozių. Jis apskaičiuojamas teisingų prognozių skaičių padalijus iš bendro prognozių skaičiaus. Tačiau vien tikslumas gali nesuteikti išsamaus modelio veikimo vaizdo, ypač tais atvejais, kai duomenų rinkinys yra nesubalansuotas, o tai reiškia, kad kiekvienos klasės atvejų skaičius labai skiriasi.
Be tikslumo, mašininio mokymosi modelio našumui įvertinti paprastai naudojami ir kiti vertinimo rodikliai, tokie kaip tikslumas, prisiminimas ir F1 balas. Tikslumas matuoja tikrų teigiamų prognozių dalį iš visų teigiamų prognozių, o atšaukimas apskaičiuoja tikrų teigiamų prognozių dalį iš visų faktinių teigiamų. F1 balas yra harmoningas tikslumo ir prisiminimo vidurkis ir suteikia pusiausvyrą tarp dviejų metrikų.
Nustatant, ar modelis tinkamai parengtas, būtina atsižvelgti į konkrečius nagrinėjamos problemos reikalavimus. Pavyzdžiui, atliekant medicininės diagnozės užduotį, labai svarbu pasiekti aukštą tikslumą, kad būtų galima užtikrinti tikslias prognozes ir išvengti klaidingų diagnozių. Kita vertus, apgaulės aptikimo scenarijaus atveju aukštas atšaukimas gali būti svarbesnis, kad būtų užfiksuota kuo daugiau apgaulės atvejų, net ir kai kurių klaidingų rezultatų kaina.
Be to, modelio veikimas turėtų būti vertinamas ne tik pagal mokymo duomenis, bet ir pagal atskirą patvirtinimo duomenų rinkinį, kad būtų galima įvertinti jo apibendrinimo galimybes. Pernelyg pritaikymą, kai modelis gerai veikia pagal mokymo duomenis, bet prastai su nematomais duomenimis, gali būti aptiktas naudojant patvirtinimo metriką. Tokie metodai, kaip kryžminis patvirtinimas, gali padėti sumažinti perteklinį pritaikymą ir pateikti patikimesnį modelio veikimo įvertinimą.
Nors tikslumas yra pagrindinis modelio našumo rodiklis, būtina atsižvelgti į kitus rodiklius, tokius kaip tikslumas, atšaukimas ir F1 balas, taip pat specifiniai problemos srities reikalavimai. Nėra fiksuotos tikslumo slenksčio, kuris būtų taikomas visuotinai, o modelio vertinimas turėtų būti išsamus, atsižvelgiant į įvairias metrikas ir patvirtinimo metodus, kad būtų užtikrintas jo veiksmingumas realiose programose.
Kiti naujausi klausimai ir atsakymai apie EITC/AI/GCML „Google Cloud Machine Learning“:
- Kas yra tekstas į kalbą (TTS) ir kaip jis veikia su AI?
- Kokie yra apribojimai dirbant su dideliais duomenų rinkiniais mašininio mokymosi metu?
- Ar mašininis mokymasis gali padėti dialogui?
- Kas yra TensorFlow žaidimų aikštelė?
- Ką iš tikrųjų reiškia didesnis duomenų rinkinys?
- Kokie yra algoritmo hiperparametrų pavyzdžiai?
- Kas yra ansamblinis mokymasis?
- Ką daryti, jei pasirinktas mašininio mokymosi algoritmas netinka ir kaip įsitikinti, kad pasirinksite tinkamą?
- Ar mašininio mokymosi modelį reikia prižiūrėti jo mokymo metu?
- Kokie pagrindiniai parametrai naudojami neuroniniais tinklais pagrįstuose algoritmuose?
Peržiūrėkite daugiau klausimų ir atsakymų EITC/AI/GCML Google Cloud Machine Learning