BLEU balas yra plačiai naudojama mašininio vertimo modelių našumo vertinimo metrika. Jis matuoja mašininio vertimo ir vieno ar daugiau nuorodų vertimų panašumą. Naudojant pasirinktinį vertimo modelį, parengtą naudojant „AutoML Translation“, BLEU balas gali suteikti vertingų įžvalgų apie modelio išvesties kokybę ir efektyvumą.
Norint suprasti, kaip naudojamas BLEU balas, pirmiausia svarbu suvokti pagrindines sąvokas. BLEU reiškia „Bilingual Evaluation Understudy“ ir buvo sukurtas siekiant automatiškai įvertinti mašininių vertimų kokybę, lyginant juos su žmogaus sukurtais nuorodų vertimais. Rezultatas svyruoja nuo 0 iki 1, o didesnis balas rodo geresnį vertimą.
„AutoML Translation“ yra galingas „Google Cloud AI“ platformos siūlomas įrankis, leidžiantis vartotojams mokyti pasirinktinius vertimo modelius naudojant savo duomenis. Kai modelis yra išmokytas, jis gali būti naudojamas naujo įvesties teksto vertimams generuoti. BLEU balas gali būti naudojamas šių vertimų kokybei įvertinti.
Norint apskaičiuoti BLEU balą, modelio sukurti vertimai lyginami su vienu ar daugiau nuorodų vertimų. Palyginimas pagrįstas n-gramomis, kurios yra gretimos n žodžių sekos. BLEU balas atsižvelgia ne tik į n-gramų tikslumą modelio sugeneruotame vertime, bet ir į jų buvimą nuorodiniuose vertimuose. Tai padeda užfiksuoti vertimų tinkamumą ir sklandumą.
Iliustruojame tai pavyzdžiu. Tarkime, kad turime informacinį vertimą: „Katė sėdi ant kilimėlio“. Ir modelis sugeneruoja tokį vertimą: „Katė sėdi ant kilimėlio“. Šiuos sakinius galime suskaidyti į n-gramas:
Nuoroda: ["The", "katė", "yra", "sėdi", "ant", "the", "kilimėlis"] Modelis: ["The", "katė", "sėdi", "įjungta", "the", "mat"]
Šiuo atveju modelis teisingai išverčia didžiąją dalį n-gramų, bet praleidžia veiksmažodžio laiką ("yra" prieš "sėdi"). BLEU balas tai atspindėtų, vertimui skirdamas žemesnį balą.
BLEU balas gali būti apskaičiuojamas naudojant įvairius metodus, pvz., modifikuotą tikslumo ir trumpumo baudą. Pakeistas tikslumas lemia tai, kad vertime gali būti keli n-gramų atvejai, o nuobauda dėl trumpumo baudžia už vertimus, kurie yra žymiai trumpesni už pamatinius vertimus.
Įvertinę pasirinktinio vertimo modelio, parengto naudojant AutoML Translation, BLEU balą, vartotojai gali gauti įžvalgų apie modelio našumą ir nustatyti tobulinimo sritis. Jie gali palyginti skirtingų modelių ar iteracijų BLEU balus, kad galėtų stebėti pažangą ir priimti pagrįstus sprendimus dėl modelio pasirinkimo ar patikslinimo.
BLEU balas yra vertinga metrika vertinant pasirinktinių vertimo modelių, parengtų naudojant „AutoML Translation“, našumą. Jame pateikiamas kiekybinis mašininių vertimų kokybės matas, lyginant juos su etaloniniais vertimais. Analizuodami BLEU balą, vartotojai gali įvertinti savo modelių efektyvumą ir priimti duomenimis pagrįstus sprendimus, kad pagerintų vertimo kokybę.
Kiti naujausi klausimai ir atsakymai apie „AutoML“ vertimas:
- Kokius veiksmus reikia atlikti kuriant pasirinktinį vertimo modelį naudojant „AutoML Translation“?
- Kaip „AutoML Translation“ panaikina atotrūkį tarp bendrųjų vertimo užduočių ir nišinių žodynų?
- Koks yra AutoML vertimo vaidmuo kuriant pasirinktinius vertimo modelius tam tikriems domenams?
- Kaip pasirinktiniai vertimo modeliai gali būti naudingi naudojant specializuotą terminiją ir sąvokas mašininio mokymosi ir AI?