BLEU Skies pre revitalizáciu ohrozených jazykov: Presnosť neurónového prekladu AI Lemko Rusyn and Ukrainian prudko stúpa (2023)

Abstrakt

Zrýchľujúca sa globálna strata jazykov, spojená so zvýšeným výskytom užívania nelegálnych látok, cukrovky 2. typu, nadmerného pitia alkoholu a napadnutí, ako aj šesťnásobne vyššou mierou samovrážd mládeže, predstavuje narastajúcu výzvu pre menšinové, domorodé, utečenecké, kolonizované a imigrantské komunity. V prostrediach, kde je medzigeneračný prenos často narušený, systémy neurónového strojového prekladu s umelou inteligenciou majú potenciál revitalizovať dedičné jazyky a posilniť nových hovorcov tým, že im umožnia porozumieť a byť pochopení prostredníctvom okamžitého prekladu. Riešenia umelej inteligencie však predstavujú problémy, ako sú neúmerné náklady a problémy s kvalitou výstupu. Riešením je prepojiť neurónové enginy s klasickými, na pravidlách založenými, ktoré umožňujú inžinierom očistiť text od výpožičiek a neutralizovať interferenciu dominantných jazykov. Táto práca opisuje prepracovanie enginu nasadeného na LemkoTran.com, aby umožnil preklad do a z Lemko, vážne ohrozeného menšinového dialektu ukrajinskej genetickej klasifikácie, pôvodného pre pohraničné oblasti medzi Poľskom a Slovenskom (kde sa tiež označuje ako Rusínčina). Prekladové moduly založené na slovníkoch boli vybavené morfologicky a syntakticky informovanými generátormi podstatných mien, slovies a prídavných mien, poháňanými 877 lemami spolu so 708 glosárovými záznamami, a celý systém bol podrobený 9 518 automatickým, kódifikačne referenčným testom kontroly kvality, ktoré museli prejsť. Výsledkom tejto práce je 23 % zlepšenie kvality prekladu do angličtiny od poslednej publikácie a 35 % zvýšenie kvality prekladu z angličtiny do Lemko, poskytujúc preklady, ktoré prekonávajú každú službu Google Translate vo všetkých metrikách a dosahujú o 396 % vyššie skóre ako ukrajinská služba Google pri preklade do Lemko.

@incollection{orynycz2023bleu,
  author    = {Petro Orynycz},
  title     = {BLEU Skies for Endangered Language Revitalization: Lemko Rusyn and Ukrainian Neural AI Translation Accuracy Soars},
  booktitle = {Artificial Intelligence in HCI},
  series    = {Lecture Notes in Computer Science},
  volume    = {14051},
  publisher = {Springer},
  address   = {Cham},
  year      = {2023},
  doi       = {10.1007/978-3-031-35894-4_10}
}

✅ Táto verzia príspevku bola prijatá na publikovanie po recenzii, ale nie je finálnou publikovanou verziou (Version of Record) a neodráža vylepšenia po prijatí ani žiadne opravy. Finálna publikovaná verzia (Version of Record) je dostupná online na https://doi.org/10.1007/978-3-031-35894-4_10. Použitie tejto prijatej verzie podlieha podmienkam používania vydavateľského akceptovaného rukopisu: https://www.springernature.com/gp/open-research/policies/accepted-manuscript-terms.

1 Úvod

1.1 Problém

Jazyky zanikajú tempom minimálne jedného za kalendárny štvrťrok, pričom táto strata sa má do roku 2062 strojnásobiť a do roku 2100 päťnásobne zvýšiť, čo ovplyvní viac ako 1 500 jazykových komunít [1, str. 163 a 169]. Takéto výsledky sú spojené so zvýšeným výskytom užívania nelegálnych látok [2, str. 179], cukrovky 2. typu [3], nadmerného pitia alkoholu a napadnutí [4], ako aj šesťnásobne vyššou mierou samovrážd mládeže, ak menej ako polovica členov komunity ovláda jazyk [5].

Nedávna štúdia v Spojených štátoch zistila, že používanie domorodých jazykov má pozitívne účinky na zdravie, bez ohľadu na úroveň znalosti [6]. Experiment na hovorcoch v Poľsku zistil, že používanie Lemko zmierňuje emocionálne, behaviorálne a depresívne symptómy vyplývajúce z kognitívnej dostupnosti traumy [7].

Strojový preklad s umelou inteligenciou môže pomôcť rozšíriť spomínané ochranné účinky na hovorcov dedičných jazykov revitalizáciou umierajúcich a spiacich jazykov [8, str. 577]. Napríklad noví hovorcovia môžu okamžite vytvárať správny text a tešiť sa z porozumenia čítaného textu pomocou automatických strojových prekladových zariadení ako pomôcky, kým nedosiahnu plnú, nezávislú plynulosť.

1.2 Študovaný systém

Jazyk

Lemko je definitívne až vážne ohrozený [9, str. 177–178] východoslovanský dialekt juhozápadnej ukrajinskej genetickej klasifikácie [10, str. 52; 11, str. 39], pôvodný pre pohraničné oblasti medzi Poľskou republikou a Slovenskou republikou; niektorí ho označujú ako Rusínčina [11, str. 39; 12].

Východné hranice

Jedinečnou izoglosou odlišujúcou Lemko na východe je pevný paroxytonický (predposledná slabika) prízvuk, vlastnosť zdieľaná s poľskými a východoslovenskými dialektmi [10, str. 161–162 a 972–973; 11, str. 50; 13, str. 70–73], čím sa jeho rozsah na východnom Slovensku rozprestiera minimálne po rieku Laborec, s prechodnou zónou siahajúcou ďalej [13, str. 70; 11, str. 50]. Medzitým v Poľsku historický rozsah Lemko siaha minimálne po rieky Osławica alebo Wisłok, s prechodnou zónou za nimi [11, str. 50].

Západné hranice

Historické západné hranice Lemko sú rieky Poprad a Dunajec [14, str. 459].

Lokalita

Pôvodné dediny rodených hovorcov, ktorých rozhovory tvoria korpus, sa nachádzajú v súčasných administratívnych hraniciach dnešného Malopoľského vojvodstva, ktorého hlavným mestom je Krakov.

2 Stav techniky

Minulý rok boli zverejnené prvé výsledky hodnotenia kvality strojových prekladov do Lemko: BLEU 6.28, čo bolo takmer trojnásobok výsledku ukrajinskej služby Google Translate[1] (BLEU 2.17) [15, str. 570]. Rok predtým sme s kolegami publikovali a predstavili prvé svetové výsledky strojového prekladu z Lemko do angličtiny: BLEU 14.57 [16].

[1] Zverejnenie: Pracujem ako platený špecialista na kontrolu kvality prekladov z ukrajinčiny, poľštiny a ruštiny pre projekt Google Translate. Sídlo môjho klienta je v San Franciscu v Kalifornii.

Engine bol nasadený a sprístupnený zadarmo na univerzálnom lokátore zdrojov https://www.LemkoTran.com, kde je transliteračný engine v prevádzke od jesene 2017. Na prekladový engine prvýkrát v tlači poukázali Dr. Scherrer a Rabus v časopise Cambridge University Press Natural Language Engineering v roku 2019 [17].

3 Materiály a metódy

3.1 Materiály

Experiment bol vykonaný na bilingválnom korpuse, ktorý zahŕňal lemkovské cyrilské prepisy a anglické preklady rozhovorov s preživšími a deťmi nútených presídlení z pôvodných zemí v Poľsku. Prepisy a ich preklady[1] boli zarovnané naprieč 3 267 segmentmi, pričom Microsoft Word uviedol počet slov v zdrojovom texte Lemko 68 944 a v cieľovom texte angličtiny 81 188.

[1] Bol som najatý na vyhotovenie prepisov a ich preklad nadáciou John and Helen Timo Foundation z Wilmingtonu, Delaware, ktorá následne darovala výsledky práce na moje vedecké výskumné a vývojové úsilie.

Zdroje pravdy zahŕňali slovníky Jarosława Horoszczaka [18], Petra Pyrteja [19], Ihora Dudu [20] a Janusza Riegera [21], ako aj gramatiky Henryka Fontańského a Mirosławy Chomiak [22] a Petra Pyrteja [23].

3.2 Metódy

Vylepšenia enginu

Pre tento experiment bol engine nasadený na LemkoTran.com vybavený novo vybudovanými generátormi informovanými o slovnom druhu, gramatickom páde a čísle za účelom vytvárania gramaticky a syntakticky vhodných prekladov pre 1 585 slovníkových záznamov, z ktorých približne polovica sa neskloňuje v poľštine ani v Lemko, čo umožňuje jednoduchú substitúciu.

Testy zabezpečenia kvality

Kvalita bola zabezpečená 9 518 testami, ktoré boli, ak to bolo možné, krížovo odkazované na lemkovské kodifikácie, gramatiky a slovníky uvedené vyššie pod Materiály. Samotné testy potvrdzujú, že systém prekladá dané výpovede požadovaným spôsobom.

Strojový preklad založený na pravidlách (RMBT)

Textu bol dodaný lemkovský alebo poľský vzhľad a dojem nahradením sekvencií znakov, a najmä flektívnych koncoviek.

Hodnotenie kvality prekladu

Kvalita prekladu bola meraná podľa priemyselných štandardných metrík s použitím predvolených nastavení nástroja SacreBLEU, ktorý vynašiel Matt Post z Amazon Research [24]. Pre účely porovnateľnosti bola poľština vykreslená v lemkovskej cyrilike rovnakým spôsobom ako v poslednom experimente [15, str. 573].

Bilingválne hodnotenie (BLEU)

Táto metrika založená na n-gramoch sa teší širokej popularite už desaťročia. Bola vyvinutá v Spojených štátoch v IBM T. J. Watson Research Center s podporou Defense Advanced Research Projects Agency (DARPA) a pod dohľadom United States Space and Naval Warfare Systems Command (SPAWAR) [25].

Miera úprav prekladu (TER)

Táto metrika odráža počet úprav potrebných na to, aby sa výstup sémanticky priblížil správnemu prekladu, s cieľom byť tolerantnejšia k frázovým posunom ako BLEU a iné metríky založené na n-gramoch. Určuje sa vydelením výpočtu editačnej vzdialenosti medzi hypotézou a referenciou priemerným počtom slov referencie. Jej vývoj v Spojených štátoch bol tiež podporený DARPA [26].

F-skóre znakových n-gramov (chrF)

Ukázalo sa, že táto európska metrika veľmi dobre koreluje s ľudskými posudkami a dokonca prekonáva BLEU aj TER [27].

4 Výsledky a diskusia

Experimentálny systém LemkoTran.com prekonal každú službu Google Translate vo všetkých metrikách. Skóre kvality prekladu BLEU z angličtiny do Lemko sa zlepšilo o 35 % v porovnaní s poslednými publikovanými výsledkami [15], čím sa dosiahli výsledky štyrikrát lepšie ako ďalšia najlepšia ponuka Google Translate, jej ukrajinská služba. Medzitým sa kvalita prekladu z Lemko do angličtiny zlepšila o 23 % od posledných publikovaných výsledkov [16], dosahujúc skóre BLEU o 16 % vyššie ako najlepšie dosiahnuté Google Translate, ktorá automaticky rozpoznala Lemko ako ukrajinčinu v 76 % prípadov, ako ruštinu v 16 % prípadov a ako bieloruštinu v 6 % prípadov.

4.1 Kvalita prekladu z angličtiny do Lemko

Skóre

Engine nasadený na LemkoTran.com prekonal Google Translate vo všetkých metrikách pri preklade z angličtiny do Lemko. Ďalší najvyššie bodovaný systém v experimente bol buď výstup ukrajinskej služby Google Translate (používajúci metriky BLEU alebo chrF), alebo jej poľskej služby (používajúci metriku TER).

BLEU

Kvalita prekladu systému nasadeného na LemkoTran.com, meraná najrozšírenejšou metrikou BLEU, vzrástla na 8,48, čo predstavuje 35 % zlepšenie oproti výsledkom naposledy publikovaným v roku 2022 [15], a teraz štvornásobok najvyššieho skóre Google Translate.

chrF

Engine LemkoTran.com dosiahol najlepšie f-skóre znakových n-gramov z angličtiny do Lemko (chrF 37,30), čo je o 37 % viac ako ďalšia najlepšia, ukrajinská služba Google Translate. Medzitým ruská služba Google Translate dosiahla vyššie skóre ako jej poľské a bieloruské náprotivky, keď sa merala voči lemkovskému korpusu touto metrikou.

TER

Engine LemkoTran.com dosiahol najlepšiu mieru úprav prekladu z angličtiny do Lemko (TER), s výsledkom 81,33. Poľská služba Google Translate dosiahla druhé najlepšie skóre, tesne nasledovaná ukrajinskou.

Vzorky

Výstup z prekladových systémov pri vstupe v angličtine je uvedený nižšie.

Preklad z Lemko do angličtiny

Skóre

Pri každej metrike systém nasadený na LemkoTran.com prekonal Google Translate, pre ktorý bol preklad akoby zo štandardnej ukrajinčiny vždy druhý najlepší, nasledovaný automatickou detekciou zdrojového jazyka, potom prekladom akoby z bieloruštiny a potom z poľštiny, pričom ruština bola vždy na poslednom mieste. Google Translate rozpoznal Lemko ako ukrajinčinu v 76 % prípadov, ako ruštinu v 16 % prípadov, ako bieloruštinu v 6 % prípadov a ako rôzne jazyky používajúce cyriliku (napr. mongolčinu) po zvyšok času.

BLEU

LemkoTran.com dosiahol skóre BLEU 17,95 pri preklade do angličtiny, čo predstavuje 23 % zlepšenie oproti posledným publikovaným výsledkom BLEU 14,57 a o 16 % viac ako skóre BLEU 15,43 ukrajinskej služby Google Translate.

chrF

Systém nasadený na LemoTran.com dosiahol f-skóre znakových n-gramov (chrF) 45,89 pri preklade do angličtiny, čo bolo o 5 % lepšie ako skóre ukrajinskej služby Google Translate.

TER

LemkoTran.com dosiahol mieru úprav prekladu (TER) 70,38 pri preklade do angličtiny, čo bolo o 7 % lepšie ako skóre ukrajinskej služby Google Translate.

Vzorky

Výstup z prekladových systémov pri vstupe v angličtine je uvedený nižšie.

5 Záver

Spojenie morfologicky a syntakticky informovaných generátorov s neurónovými systémami môže zlepšiť kvalitu strojového prekladu minimálne o tretinu, pričom má aj vedľajší prínos v tom, že umožňuje inžinierom odstraňovať výpožičky a pôsobiť proti iným interferenciám dominantného jazyka, ako aj zabezpečiť súlad s normami, ako sú kodifikácie menšinových jazykov. Sklenené stropy kvality skóre, ktoré sú spôsobené nedokonalosťami vlastnými modelom umelej inteligencie, môžu byť tiež prekonané prostredníctvom spoľahlivého inžinierstva. Pre Lemko, ako aj pre ďalšie málo zdrojové, pôvodné menšinové jazyky, je teraz obloha limitom pre kvalitu prekladu, ako aj pre revitalizačné revolúcie, ktoré sú už na obzore.

Poďakovanie

Rád by som poďakoval Dr. Ming Qianovi z Charles River Analytics za inšpiráciu k uskutočneniu tohto experimentu, Michaelovi Decerbovi z Raytheon BBN Technologies a Dr. Jamesovi Joshuovi Penningtonovi za ich cenné poznámky, ako aj Dr. Yvesovi Scherrerovi z Helsinskej univerzity za jeho záujem o projekt a nápady.

Referencie

1. Bromham, L., Dinnage, R., Skirgård, H. Ritchie, A., Cardillo, M., Meakins, F., Greenhill, S., Hua, X.: Globálne prediktory ohrozenia jazykov a budúcnosť jazykovej rozmanitosti. Nature Ecology & Evolution 6, 163–173 (2022). https://doi.org/10.1038/s41559-021-01604-y
2. Gonzalez, M., Aronson, B., Kellar, S., Walls, M., Greenfield, B.: Jazyk ako sprostredkovateľ kultúrneho spojenia. ab-Original 1(2), 176–194 (2017). https://doi.org/10.5325/aboriginal.1.2.0176
3. Oster, R., Grier, A., Lightning, R., Mayan, M., Toth, E.: Kultúrna kontinuita, tradičný domorodý jazyk a diabetes u Prvých národov Alberty: štúdia zmiešanými metódami. International Journal for Equity in Health 13, 92 (2014). https://doi.org/10.1186/s12939-014-0092-4
4. Kultúra, dedičstvo a voľný čas: Hovorenie jazykmi domorodcov a obyvateľov Torres Strait. In: 4725.0 – Blahobyt domorodcov a obyvateľov Torres Strait: Zameranie na deti a mládež. Australian Bureau of Statistics (2011). https://www.abs.gov.au/ausstats/abs@.nsf/Latestproducts/1E6BE19175C1F8C3CA257A0600229ADC
5. Hallett, D., Chandler, M., Lalonde, C.: Znalosť domorodého jazyka a samovraždy mládeže. Cognitive Development 22(3), 392–399 (2007). https://doi.org/10.1016/j.cogdev.2007.02.001
6. Whalen, D., Lewis, M., Gillson, S., McBeath, B., Alexander, B., Nyhan, K.: Zdravotné účinky používania a revitalizácie domorodých jazykov: realistický prehľad. International Journal for Equity in Health 21, 169 (2022). https://doi.org/10.1186/s12939-022-01782-6
7. Skrodzka, M., Hansen, K., Olko, J., Bilewicz, M.: Dvojaká úloha menšinového jazyka v historickej traume: Prípad lemkovskej menšiny v Poľsku. Journal of Language and Social Psychology. 39(4) 551–566 (2020). https://doi.org/10.1177/0261927X20932629
8. Zhang, S., Frey, B., Bansal, M.: ChrEn: Čerokíjsko-anglický strojový preklad pre revitalizáciu ohrozených jazykov. In: Zborník príspevkov z konferencie o empirických metódach v spracovaní prirodzeného jazyka (EMNLP) 2020, s. 577–595. Association for Computational Linguistics, Online (2020). http://dx.doi.org/10.18653/v1/2020.emnlp-main.43
9. Duć-Fajfer, O.: Literatura a proces rozwoju i rewitalizacja tożsamości językowej na przykładzie literatury łemkowskiej (v poľštine). In: Olko, J., Wicherkiewicz, T., Borges, R. (eds.) Integrálne stratégie pre revitalizáciu jazyka, 1. vyd., s. 175–200. Faculty of “Artes Liberales”, University of Warsaw, Varšava (2016). https://culturalcontinuity.al.uw.edu.pl/resource/integral-strategies-for-language-revitalization/
10. Shevelov, G.: Historická fonológia ukrajinského jazyka (ukrajinský preklad). Vakulenko, S., Danylenko, A. (prekl.), Ushkalov, L. (red.). Naukove vydavnyctvo “AKTA”, Charkov (2002, pôvodné dielo publikované 1979). http://irbis-nbuv.gov.ua/ulib/item/UKR0001641
11. Rieger, J.: Stanovysko i zrižnycjuvanja „rusynskŷx“ dialektiv v Karpatax (v rusínčine). In: Magosci, P. (ed.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, s. 39–66. 2. vyd. Uniwersytet Opolski — Instytut Filologii Polskiej, Opole (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
12. Vaňko, J.: Klasifikacija i holovnŷ znakŷ Karpatʹskŷx Rusynʹskŷx dialektiv (v rusínčine). In: Magosci, P. (ed.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, s. 67–84. 2. vyd. Uniwersytet Opolski — Instytut Filologii Polskiej, Opole (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
13. Vaňko, J.: Rusínsky jazyk na Slovensku: medzi kladivom a nákovou. In: Duchêne, A. (ed.) International Journal of the Sociology of Language, vol. 2007, č. 183, s. 75–96. Walter de Gruyter GmbH, Berlín (2007). https://doi.org/10.1515/IJSL.2007.005
14. Sopolyha, M.: Do pytanʹ etničnoï identyfikaciï ta sučasnyx etničnyx procesiv ukraïnciv Prjašivščyny (v ukrajinčine). In: Skrypnyk, H. (ed.) Ukraïnci-rusyny: etnolʹinhvistyčni ta etnokulʹturni procesy v istoryčnomu rozvytku, s. 454–487. National Academy of Sciences of Ukraine, National Association of Ukrainian Studies, Rylsky Institute of Art Studies, Folklore and Ethnology, Kyjev (2013). http://irbis-nbuv.gov.ua/ulib/item/UKR0001502
15. Orynycz, P.: Say It Right: AI neurónový strojový preklad posilňuje nových hovorcov pri revitalizácii Lemko. In: Degen, H., Ntoa, S. (eds.) Umelá inteligencia v HCI. HCII 2022. Lecture Notes in Computer Science, vol 13336, s. 567–580. Springer, Cham (2022). https://doi.org/10.1007/978-3-031-05643-7_37
16. Orynycz, P., Dobry, T., Jackson, A., Litzenberg, K.: Áno, hovorím… AI neurónový strojový preklad vo viacjazyčnom tréningu. In: Zborník príspevkov z konferencie Interservice/Industry Training, Simulation, and Education (I/ITSEC) 2021, príspevok č. 21176. National Training and Simulation Association, Orlando (2021). https://www.xcdsystem.com/iitsec/proceedings/index.cfm?Year=2021&AbID=96953&CID=862
17. Scherrer, Y., Rabus, A.: Neurónové morfosyntaktické značkovanie pre rusínčinu. In: Mitkov, R., Tait, J., Boguraev, B. (eds.) Natural Language Engineering, vol. 25, č. 5, s. 633–650. Cambridge University Press, Cambridge (2019). https://doi.org/10.1017/S1351324919000287
18. Horoszczak, J.: Słownik łemkowsko-polski, polsko-łemkowski (v poľštine). Rutenika, Varšava (2004).
19. Pyrtej, P.: Korotkyj slovnyk lemkivsʹkyx hovirok (v ukrajinčine). Siversiya MV, Ivano-Frankivsk (2004).
20. Duda, I.: Lemkivsʹkyj slovnyk (v ukrajinčine). Aston, Ternopil (2011).
21. Rieger, J.: Słownictwo i nazewnictwo łemkowskie (v poľštine). Wydawnictwo naukowe Semper, Varšava (1995).
22. Fontański, H., Chomiak, M.: Gramatyka języka łemkowskiego (v poľštine). Wydawnictwo Naukowe „Śląsk”, Katovice (2000).
23. Pyrtej, P.: Dialekt łemkowski. Fonetyka i morfologia (v poľštine). Hojsak, W. (ed.). Zjednoczenie Łemków, Gorlice (2013).
24. Post, M.: Výzva na jasnosť pri uvádzaní skóre BLEU. In: Zborník príspevkov z Tretej konferencie o strojovom preklade (WMT), vol. 1, s. 186–191. Association for Computational Linguistics, Brusel (2018). https://doi.org/10.48550/arXiv.1804.08771
25. Papineni, K., Roukos, S., Ward, T., Wei-Jing, Z.: BLEU: Metóda pre automatické hodnotenie strojového prekladu. In: Zborník príspevkov zo 40. výročného stretnutia Asociácie pre počítačovú lingvistiku (ACL 02), s. 311–318. Association for Computational Linguistics, Philadelphia (2002). https://doi.org/10.3115/1073083.1073135
26. Snover, M., Dorr, B., Schwartz, R., Micciulla, L., Makhoul, J.: Štúdia miery úprav prekladu s cielenou ľudskou anotáciou. In: Zborník príspevkov zo 7. konferencie Asociácie pre strojový preklad v Amerike: Technické práce, s. 223–231. Association for Machine Translation in the Americas, Cambridge (2006). https://aclanthology.org/2006.amta-papers.25
27. Popović, M.: chrF: F-skóre znakových n-gramov pre automatické hodnotenie MT. In: Zborník príspevkov z Desiateho workshopu o štatistickom strojovom preklade, s. 392–395. Association for Computational Linguistics, Lisabon (2015). http://dx.doi.org/10.18653/v1/W15-3049