Áno, hovorím… Neuronový strojový preklad AI vo viacjazyčnom školení (2021)

@inproceedings{orynycz2021yes,
  author    = {Petro Orynycz and T. Dobry and A. Jackson and K. Litzenberg},
  title     = {Yes I Speak… AI neural machine translation in multi-lingual training},
  booktitle = {Proceedings of the Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC)},
  year      = {2021},
  url       = {https://www.xcdsystem.com/iitsec/proceedings/index.cfm?Year=2021&AbID=96953&CID=862}
}

✅ Táto verzia príspevku bola prijatá na publikovanie po recenznom konaní, ale nie je to finálna publikovaná verzia (Version of Record) a neodráža vylepšenia po prijatí ani žiadne opravy. Finálna publikovaná verzia je dostupná online na tomto odkaze. Použitie tejto prijatej verzie podlieha podmienkam používania akceptovaného rukopisu vydavateľa.

Abstrakt

Rýchlo zdieľateľné a spoločne použiteľné školenia medzi koaličnými partnermi sa musia jazykovo a kultúrne prispôsobiť (t. j. lokalizovať) jazykom neanglofónnych spojencov, ktorí predstavujú aktérov v prvej línii s obmedzenou alebo potenciálne žiadnou znalosťou angličtiny. Tradične bola lokalizácia časovo a pracovne náročný proces, pričom expert potreboval viac ako dva mesiace na preklad stredne veľkej knihy. Medzitým musia cvičenia reagovať na celkové časové rámce vývoja v dňoch a týždňoch, nie v mesiacoch a rokoch, aby reagovali na meniace sa reality operačného sveta. V tomto kontexte sa tradičná lokalizácia stáva hlavnou prekážkou pre úsilie koalície. V rýchlo sa vyvíjajúcich situáciách spojenci jednoducho nemôžu čakať mesiace a roky na školenia potrebné dnes večer alebo na riešenie misie budúceho týždňa v jazykoch ľahko zrozumiteľných v prvej línii – to znamená, aby sa splnil dlho očakávaný sen o lokálne prispôsobenom školení na riešenie potrieb priamo v teréne.

Vstupuje do hry vznikajúca technológia umelej inteligencie, neuronový strojový preklad, ktorá dokáže za pár minút to, čo skúseným ľudským lingvistom trvá hodinu, čím sa stáva uskutočniteľné celokoaličné, viacjazyčné nasadenie v priebehu dní a týždňov, pričom sa zohľadňuje neustále sa zlepšujúca komplexnosť. To je možné vďaka strojovému učeniu, teda trénovaniu umelých rekurentných neurónových sietí na preklad z jedného prirodzeného jazyka do druhého.

Vyvinuli sme motory založené na umelej inteligencii, merali sme čas ich prekladu školiacich materiálov Organizácie Severoatlantickej zmluvy (NATO) a ich presnosť sme merali pomocou metriky BLEU (bilingual understudy evaluation). Náš motor prekladal z ruštiny o 1 169,51 % rýchlejšie a o 58,37 % presnejšie ako náš profesionálny ľudský lingvista použitý ako kontrola. Náš poľský neurónový motor bol o 17,29 % presnejší a o 488,45 % rýchlejší ako ľudský. Naše prekladové motory Lemko sú prvé na svete a dosiahli slušné skóre BLEU 14,57. Medzitým sme vyššie uvedené vykonali na lacnom prenosnom počítači v prostredí s oddelenou sieťou a riadeným prístupom, odrezanom od vonkajšieho sveta.

Úvod

Problém

Online prekladateľské služby fungujú, kým človek nepotrebuje prekladať tajne alebo z jazyka, ktorý nepatrí medzi top 2 % z hľadiska zdrojov. Používanie aj tých najbezpečnejších online alebo cloudových prekladateľských služieb znamená zdieľanie informácií s treťou stranou, čo porušuje väčšinu komerčných dohôd o mlčanlivosti, nehovoriac o požiadavkách obranného priemyslu. Ďalej, popredná online prekladateľská platforma funguje len pre 109 jazykov (Google, 2021), čo je menej ako 2 % zo 7 139 jazykov, ktorými sa dnes hovorí vo svete (Eberhard, Simons, & Fennig, 2021). Tvárou v tvár inherentnému riziku tretích strán u poskytovateľov cloudových služieb sa mnohí obracajú na preverených ľudských lingvistov, ktorí dokážu v najlepšom prípade preložiť jednu knihu mesačne a v najhoršom prípade predstavujú celoživotné hrozby neoprávneného zverejnenia. Aby sme poskytli viac možností viacjazyčným podnikom a organizáciám, rozhodli sme sa vyriešiť problém využitia umelej inteligencie na rýchly, presný a tajný preklad materiálov z jazykov s vysokými, strednými a nízkymi zdrojmi na lacných, stredne výkonných prenosných počítačoch s oddelenou sieťou, odpojených od internetu a vonkajšieho sveta.

Doterajšie riešenia

Zatiaľ čo základy strojového prekladu boli položené v Bagdade al-Kindīho pred viac ako tisícročím (DuPont, 2018; pozri tiež al-Kindī, 2002), takmer všetok veľkolepý, viditeľný pokrok sa udial v Silicon Valley za posledných päť rokov. Hlavný prelom nastal v spoločnosti Google (Lewis-Kraus, 2016) a Facebook sa teraz pripojil ku klubu neurónového strojového prekladu (Ott a kol., 2019). Vychádzali sme z práce ich motora FAIRseq, pre ktorý Sławomir Dadas sprístupnil vynikajúci poľsko-anglický model (Dadas, 2019). Nadviazali sme na prácu pána Dadasa, aby sme vytvorili hybridné neurónové/pravidlové/slovníkové motory, ktoré prekladajú z Lemko do angličtiny a naopak. Myšlienka aplikácie prenosového učenia pre spracovanie rusínskeho prirodzeného jazyka (NLP) bola prediskutovaná s našimi váženými kolegami Yvesom Scherrerom a Achimom Rabusom, ktorí ako prví publikovali výsledky v recenzovanom časopise a láskavo využili príležitosť spomenúť hybridný neurónový/pravidlový Lemko strojový prekladový motor Petra Orynycziho (Scherrer & Rabus, Neuronové morfosyntaktické značkovanie pre rusínčinu, 2019, s. 634), ktorý je v prevádzke a voľne dostupný na verejné použitie na webovej adrese www.lemkotran.com od marca 2019, pričom jeho modul na spracovanie prirodzeného jazyka s transliteráciou bol tam sprístupnený na verejné použitie v septembri 2017.

Širší systém

Jazyky s vysokými, strednými a nízkymi zdrojmi

Jazykové páry sú v odbornej literatúre klasifikované ako s vysokými zdrojmi, so strednými zdrojmi a s nízkymi zdrojmi, v závislosti od množstva dostupných technológií a dátových súborov vzhľadom na ich medzinárodný význam (Cieri, Maxwell, Strassel, & Tracey, 2016, s. 4545). Páry s vysokými zdrojmi zahŕňajú češtinu-angličtinu (Kocmi, 2020, s. 171), ruštinu-angličtinu, nemčinu-angličtinu (Ng a kol., 2019, s. 314) a čínštinu-angličtinu (Kocmi & Bojar, 2019, s. 234–235). Poľština-angličtina je pár so strednými zdrojmi (Jónsson, Símonarson, Snæbjarnarson, Steingrímsson, & Loftsson, 2020, s. 2). Páry s nízkymi zdrojmi zahŕňajú gudžarátčinu-angličtinu, kazaštinu-angličtinu (Kocmi & Bojar, s. 234), inuktitut-angličtinu (Kocmi, s. 171) a Lemko-angličtinu (Scherrer & Rabus, 2019, s. 85). Keďže trénovanie jazykových modelov umelej inteligencie vyžaduje obrovské množstvo bilingválnych dát, jazyky s vyššími zdrojmi sa vo všeobecnosti tešia dostupnosti neurónových strojových prekladových motorov. Medzitým, kvôli nedostatku tréningových dát pre strojové učenie, sú neurónové motory zriedkavejšie pre jazyky s nižšími zdrojmi, ktoré sú často lepšie obsluhované predchádzajúcou generáciou motorov štatistického strojového prekladu (SMT).

Jazyk s vysokými zdrojmi v experimente: ruština

Ruštinou hovorí ako prvým jazykom viac ako 168 miliónov ľudí a ako ďalším jazykom ďalších 114 miliónov (Maximova, Noyanzina, Omelchenko, & Maximova, 2018, s. 2). Automatizácia jej prekladu do angličtiny bola svätým grálom povojnového úsilia v oblasti strojového prekladu. Ako jeden z úradných jazykov Organizácie Spojených národov je k dispozícii obrovské množstvo bilingválneho rusko-anglického textu pod liberálnou licenciou (Ziemski, Junczys-Dowmunt, & Pouliquen, 2016, s. 3530).

Jazyk so strednými zdrojmi v experimente: poľština

Poľština je západoslovanský jazyk, ktorým hovorí približne 38 miliónov ľudí v dnešnom Poľsku, pričom sa očakáva pokles tohto počtu čiastočne v dôsledku pandémie prebiehajúcej v čase publikácie (Associated Press, 2021). Ďalších 10 miliónov hovorí poľsky do určitej miery aj za hranicami krajiny (Jassem, 2003, s. 103). Ako jeden z úradných jazykov Európskej únie je k dispozícii veľké množstvo bilingválneho textu na trénovanie prekladových modelov umelej inteligencie, vrátane 22 630 dokumentov Európskeho parlamentu (Hajlaoui, Kolovratnik, Vaeyrynen, Steinberger, & Varga, 2014, s. 3165).

Jazyk s nízkymi zdrojmi v experimente: Lemko

Lemko je jazyk s nízkymi zdrojmi (Scherrer & Rabus, 2019, s. 85), ktorý spĺňa tradičné kritériá pre klasifikáciu ako východoslovanský. Napríklad Lemko vykazuje východoslovanskú pleofóniu, to znamená, že výsledkom praslovanských sekvencií „ToRT“ je ToRoT (Fortson IV, 2004, s. 371-372), ako v Lemko horodyty ‘oplotiť, ohradiť’ (Horoszczak, 2004, s. 45), ako aj v štandardnej ukrajinčine horodyty, rusínčine horodyty a ruštine gorodit’ (Kerča, 2007, s. 176). Medzitým porovnajte poľštinu (západoslovanský jazyk) s -ro- v grodzić, ale chorvátčinu (juhoslovanský jazyk) s -ra- v graditi, ‘stavať’. Ďalej, angličtina má -ar- v yard a garden, avestčina (staroiránsky jazyk) s -ǝrǝ- v gǝrǝδō ‘jaskyňa’, a sanskrit (staroindický jazyk) s -ṛ- v gṛhás ‘domov’ (Vasmer, s. 1443).

Zatiaľ čo presná klasifikácia Lemko a jeho status vo vzťahu k štandardnej ukrajinčine a kodifikovanej rusínčine je predmetom kontroverzie (Rabus & Scherrer, 2017), náš Lemko-anglický motor, ktorý dosiahol tak vysoké skóre bez použitia zdrojov štandardnej ukrajinčiny alebo rusínčiny kodifikovanej na Slovensku, by mohol podporiť záver Watrala (2015), že Lemko je plnohodnotný jazyk sám o sebe, a nie dialekt iného jazyka. Povzbudení rastúcimi objektívnymi hodnotami kvality sme sa rozhodli uprednostniť poľské prenosové učenie kvôli jeho okamžitej návratnosti investícií z hľadiska presnosti prekladu Lemko, čo je naša najvyššia hodnota. Je možné, že hodnoty kvality boli zvýšené interferenciou z pozorovanej hybridnej reči, kde sú gramatické koncovky Lemko spätne prispôsobené štandardným poľským slovám (Watral, 2016, s. 242).

Poľský štatistický úrad zaznamenal v roku 2011 6 279 osôb hovoriacich Lemko doma, čo je nárast z 5 605 v roku 2002 (Departament Wyznań Religijnych oraz Mniejszości Narodowych i Etnicznych, 2013, s. 7), pričom v čase publikácie prebiehalo nové sčítanie. Koľko z 24 539 obyvateľov Poľska, ktorí boli v roku 2011 zaznamenaní ako hovoriaci ukrajinsky doma alebo 626 hovoriacich „rusínsky“ (język ruski) s inými členmi domácnosti (Departament Wyznań Religijnych oraz Mniejszości Narodowych i Etnicznych, 2013, s. 7), by mohlo byť hovoriacich Lemko, presahuje rozsah tohto článku. Štátna štatistická služba Ukrajiny zaznamenala 672 Lemkov v rámci svojich hraníc (Deržavna služba statystyky Ukraïny, 2001). Na stupnici ohrozenia jazykov OSN od 0 do 5, kde 0 znamená vyhynutý a 5 „bezpečný“ (Ad Hoc expertná skupina UNESCO pre ohrozené jazyky, 2003, s. 7-8), by sa Lemko blížilo k 2, to znamená, vážne ohrozený: prirodzený medzigeneračný prenos jazyka čoraz viac chýba a mladší hovoriaci sú čoraz neexistujúci (Duć-Fajfer, 2016, s. 178). Existujú však aj pozitívne signály, keďže zákony, ktoré chránia a podporujú používanie menšinových jazykov vo vzdelávaní, vysielaní, vydavateľstve, cestnom značení a vede, sa čoraz viac využívajú (Duć-Fajfer, 2016, s. 178-179).

Situácia so zdrojmi sa tiež zlepšuje. Petro Orynycz zostavil a zarovnal bilingválny Lemko-anglický korpus, ktorý obsahuje 68 599 zdrojových slov spolu s jeho prekladmi do angličtiny (jediný existujúci paralelný text, o ktorom vieme). Korpus bol zostavený pomocou rozhovorov vedených v Lemko nadáciou Johna a Helen Timo zo Spojených štátov, ktorá poverila pána Orynycziho, aby ich prepísal a preložil, a tiež mu povolila použiť túto prácu vo svojom vedeckom výskume a vývoji. Zhromažďuje tiež monolingválny Lemko korpus s viac ako miliónom slov. Zatiaľ čo komplexné sociolingvistické vzťahy medzi Lemko, rusínskymi, štandardnými ukrajinskými a slovenskými jazykovými komunitami presahujú rozsah tohto článku, práve poľské zdroje (konkrétne poľské neurónové modely) boli kľúčové pre hybridné Lemko motory pána Orynycziho.

Hypotézy a predpovede

Rýchlosť prekladu

Hypotéza: strojový preklad s umelou inteligenciou s oddelenou sieťou je teraz rovnako rýchly ako ľudia

Predpokladali sme, že motory neurónového strojového prekladu bežiace offline na stredne výkonných prenosných počítačoch sú teraz porovnateľné rýchlosťou s ľudskými prekladateľmi. To bolo založené na pozorovaniach počas vývoja motora, že neurónový strojový preklad trval od niekoľkých sekúnd do menej ako minúty na preklad vety na stredne výkonnom prenosnom počítači, čo je porovnateľné s ľudskými rýchlosťami, ktoré pozoroval Petro Orynycz vo svojej skúsenosti v lokalizačnom priemysle.

Predpoveď: motory strojového prekladu spracujú viac slov za hodinu ako ľudskí prekladatelia

Na základe našej hypotézy, že motory neurónového strojového prekladu s oddelenou sieťou bežiace offline na stredne výkonných prenosných počítačoch budú rovnako rýchle ako ľudia, sme predpovedali, že ich rýchlosť prekoná rýchlosť ľudských lingvistov a že preložia viac slov za sekundu ako náš ľudský kontrolný subjekt.

Presnosť prekladu

Hypotéza: motory strojového prekladu s umelou inteligenciou sú teraz takmer rovnako presné ako ľudskí prekladatelia

To bolo založené na profesionálnom pozorovaní Petra Orynycziho ako špecialistu na kontrolu kvality prekladu, že komerčné cloudové služby neurónového strojového prekladu sa nielen dramaticky zlepšili, ale produkovali výsledky často nerozoznateľné od výsledkov ľudských lingvistov.

Predpoveď: motory strojového prekladu s umelou inteligenciou dosiahnu aspoň 75 % skóre kvality BLEU profesionálnych ľudských prekladateľov

Zatiaľ čo sme vedeli, že motory neurónového strojového prekladu môžu byť lepšie ako bilingválni amatéri, ktorí sa prvýkrát pokúšajú prekladať, neverili sme, že naše motory prekonajú skúsených, profesionálnych lingvistov v priamej súťaži. Našťastie, naše pochybnosti mohli byť podrobené skúške. Algoritmus BLEU (bilingual evaluation understudy) je najdominantnejšou metrikou pre výskum strojového prekladu, pričom je jazykovo nezávislý, lacný a ľahko vypočítateľný, ako aj primerane korelovaný s ľudskými úsudkami (Post, 2018). Predpovedali sme, že naše neurónové motory dosiahnu 75 % kvalitatívnych bodov, ktoré získal ľudský lingvista. Napríklad, ak ľudský lingvista získal 40 bodov, neurónový strojový preklad by získal 30 bodov. Medzitým sme predpovedali, že náš hybridný Lemko-anglický motor dosiahne kumulatívne skóre BLEU 15.

Bezpečnosť prekladu

Hypotéza: strojový preklad s umelou inteligenciou možno vykonávať offline na prenosných počítačoch vo vysoko bezpečných terénnych podmienkach

Predpokladali sme, že neurónový strojový preklad možno vykonávať offline na prenosnom zariadení s oddelenou sieťou, úplne odrezanom od vonkajšieho sveta. To bolo založené na pozorovaní, že všetky komponenty nášho riešenia nevykonávali žiadne volania na internet po nainštalovaní závislostí. Implicitným predpokladom je, že prekladové systémy s oddelenou sieťou s povoleným režimom Lietadlo nemožno vzdialene monitorovať ani hacknúť. Ďalším predpokladom je, že operátori boli nielen riadne preverení, ale aj prijali vhodné opatrenia proti externým a interným hrozbám. Ďalším implicitným predpokladom je, že je jednoduchšie chrániť len jednu mobilnú pracovnú stanicu po dobu niekoľkých hodín, než zabrániť ľudským lingvistom, ktorí zarábajú v priemere 25,01 USD za hodinu (Bureau of Labor Statistics, United States Department of Labor, 2021), v neoprávnenom zverejňovaní informácií počas celého života, najmä vzhľadom na správy o zatknutí lingvistov pre podozrenie z úniku tajomstiev (Department of Justice Office of Public Affairs, 2009, 2018, 2020).

Predpoveď: strojový preklad s umelou inteligenciou bude úspešný na prenosnom počítači Lenovo Legion Y730-17ICH s oddelenou sieťou, bežiacom offline v režime Lietadlo

Predpovedali sme, že náš prekladový systém nebude zlyhávať a dokončí svoje úlohy, keď bude fyzicky oddelený a odpojený od všetkých sietí alebo zariadení aktiváciou funkcie Režim Lietadlo systému Windows 10 Pro na prenosnom počítači Lenovo Legion Y730-17ICH (Typ 81HG).

Hybridný motor Lemko-anglický založený na pravidlách/slovníku a neurónovej sieti

Hypotéza: hybridné motory založené na slovníku/pravidlách zlepšujú presnosť strojového prekladu

Predpokladali sme, že náš poľsko-Lemko motor strojového prekladu založený na pravidlách (RBMT), poľsko-Lemko motor strojového prekladu založený na slovníku (DBMT), Lemko-poľský motor DBMT spustený reverzne a neurónový poľsko-anglický motor by mohli byť synergicky spojené do hybridného motora, ktorý dosahuje vyššie hodnoty kvality s každou ďalšou časťou. Táto hypotéza bola založená na pozorovaniach autora, ktorý pracoval ako profesionálny Lemko-anglický prekladateľ, že zhody medzi Lemko a poľštinou boli dostatočne časté na to, aby hybridný motor bol životaschopným návrhom.

Predikcia: každý podmotor pridaný do nášho hybridného Lemko-anglického motora zvýši BLEU o 5 bodov

Predpokladali sme, že pre každý Lemko-poľský podmotor založený na pravidlách alebo slovníku, ktorý sme pridali do nášho hybridného Lemko-anglického motora, sa celkové skóre presnosti BLEU zvýši o 5 bodov.

Úvod do metód a zdôvodnenie

Postavili sme človeka proti stroju tým, že sme obom dali stredne výkonný, vzduchom oddelený laptop s naším vlastným programom počítačom podporovaného prekladu (podrobne opísaným nižšie), zatiaľ čo boli offline v režime Lietadlo systému Windows. Zaznamenali sme rýchlosť a presnosť prekladu z ruštiny do angličtiny (jazykový pár s vysokými zdrojmi), z poľštiny do angličtiny (pár so strednými zdrojmi) a z Lemko do angličtiny (pár s nízkymi zdrojmi). Na vyjadrenie rýchlosti sme použili metriku slov za hodinu, pretože je to hlavná metrika pre manažérov lokalizačných projektov, ako aj používaná vo vedeckej literatúre (Macken, Prou, & Tezcan, 2020, s. 4). Na meranie presnosti sme použili metriku BLEU, pretože je najrozšírenejšia v oblasti výskumu a vývoja (Post, 2018).

Hlavné výsledky v skratke

Nielenže sme dokázali aplikovať prelomovú technológiu neurónového strojového prekladu na použitie umelej inteligencie na vzduchom oddelenom, offline laptope v režime Lietadlo na preklad jazyka s vysokými zdrojmi (ruština) viac ako 10-krát rýchlejšie ako náš ľudský lingvista, ale kvalita nášho stroja bola o viac ako 58 percent „lepšia ako ľudská“. Okrem toho sme prvý tím na svete, ktorý publikoval výsledky pre Lemko prekladové motory v vedeckom časopise.

Materiály a metódy

Úvod

Na otestovanie našich predpovedí sme zostrojili niekoľko motorov umelej inteligencie a hybridných prekladových motorov, vypočítali ich rýchlosť a presnosť na vzduchom oddelenom laptope v režime Lietadlo systému Windows a to isté sme urobili s profesionálnym lingvistom, aby sme náš experiment kontrolovali.

Nastavenie laboratória

Hardvér

Použili sme laptop Lenovo Legion Y730-17ICH (typ 81HG) s operačným systémom Windows 10 Pro (64-bit). Model bol ukončený a v čase publikácie sa predáva za približne 850 USD, z druhej ruky.

Operačný systém

Virtualizovaný operačný systém použitý pre experiment bol Linux Subsystem pre Windows, a presnejšie, Ubuntu 18.04 LTS nainštalovaný prostredníctvom platformy digitálnej distribúcie Microsoft Store.

Závislosti

Python 3.8 bol nainštalovaný pomocou príkazu sudo apt install python3.8.

Príkaz sudo python3.8 -m pip install –upgrade bol použitý na inštaláciu hlavných závislostí, vrátane bleu, fastBPE, hydra-core, python-dev-tools, PyYAML, omegaconf, pip, pytz, nltk, setuptools, sacremoses, subword-nmt, torch, and torchvision.

Sady nástrojov

Nainštalovali sme Facebook AI Research Sequence-to-Sequence Toolkit spustením nasledujúcich príkazov:

sudo git clone https://github.com/pytorch/fairseq
cd fairseq
sudo python3.8 -m pip install --upgrade --ignore-installed PyYAML --editable ./

Dokumentácia a technická podpora sú k dispozícii na https://github.com/pytorch/fairseq

Modely neurónového strojového prekladu

Pre naše neurónové poľsko-anglické a hybridné Lemko-anglické motory sme použili konvolučný model Sławomira Dadasa pre poľsko-anglický jazyk, dostupný a zdokumentovaný v jeho úložisku Polish Natural Language Processing (NLP) Resources (Dadas, 2019).

Model: https://github.com/sdadas/polish-nlp-resources/releases/download/nmt-models-conv/polish-english-conv.zip

Dokumentácia: https://github.com/sdadas/polish-nlp-resources#machine-translation-models

Pre náš rusko-anglický motor sme využili predtrénovaný model transformátora Facebook AI Research Sequence-to-Sequence (FAIRseq) z ruštiny do angličtiny bez jemného doladenia, ktorý bol predložený na Štvrtú konferenciu o strojovom preklade (WMT19) v roku 2019.

Model: https://dl.fbaipublicfiles.com/fairseq/models/wmt19.ru-en.ffn8192.tar.gz
Dokumentácia: https://github.com/pytorch/fairseq/tree/master/examples/wmt19

Elektronické slovníky

Náš profesionálny lingvista mal povolený offline prístup k elektronickým verziám Nového poľsko-anglického slovníka Kościuszko Foundation (12,99 USD), ako aj k Oxfordskému rusko-anglickému slovníku (19,99 USD). Oba boli zakúpené prostredníctvom Microsoft Store. Jaroslava Horoszczaka Lemko-poľský a poľsko-Lemko slovník (2004) bol tiež k dispozícii nášmu lingvistovi na offline použitie.

Kontrola experimentu

Experiment bol kontrolovaný tak, že profesionálny ľudský lingvista sedel pri vzduchom oddelenom laptope v režime Lietadlo, pričom na stroji boli k dispozícii spomínané elektronické slovníky. Lingvista stlačil kláves Enter, vtedy sa spustil časovač a zobrazila sa zdrojová veta na preklad. Lingvista mal povolené písať svoj preklad v programe Microsoft Word (aby využil jeho funkciu kontroly pravopisu a iné pomôcky na spracovanie textu) a potom ho vložiť do nášho vlastného programu počítačom podporovaného prekladu. Po opätovnom stlačení klávesu Enter bol ľudský preklad odoslaný a časovač sa zastavil. Rýchlosť ľudského lingvistu v slovách za hodinu a presnosť v skóre BLEU boli vypočítané pre každú preloženú vetu.

Petro Orynycz, ktorý má dve desaťročia skúseností ako rusko-poľský lingvista, poľský univerzitný titul z ruštiny a viac ako 5 rokov skúseností ako profesionálny Lemko-anglický prekladateľ, slúžil ako kontrolný subjekt. Vykonával spätné preklady ruských a poľských materiálov uvedených nižšie, ako aj anglické preklady z Lemko.

Experimentálny materiál: referenčné preklady

Rusko-anglický a poľsko-anglický text pre experiment bol získaný z vzdelávacích materiálov zdieľaných s verejnosťou a preložených z angličtiny do ruštiny a poľštiny publikáciou NATO Review Organizácie Severoatlantickej zmluvy (NATO). Citujem: „Reprodukcia častí, úryvkov alebo článkov NATO Review je povolená na nekomerčné účely, za nasledujúcej podmienky: musí byť uvedený zdroj, NATO Review.“ Ako je štandardná prax (Post, 2018), korpusové údaje boli vyčistené a normalizované zmenou textu na malé písmená a tokenizáciou. Dbalo sa na to, aby bol zdrojový text a cieľové preklady zarovnané na úrovni viet.

Pre tento experiment sme použili prednášku Dr. Jamieho Shea, vtedajšieho zástupcu generálneho tajomníka NATO pre vznikajúce bezpečnostné výzvy. Jej názov je Čo sa dnes môžeme naučiť od „Troch múdrych mužov“? Anglický originálny text prednášky Dr. Shea a jej preklady do ruštiny a poľštiny, ktoré si objednalo NATO, boli získané z nasledujúcich jednotných lokátorov zdrojov:

Anglický originál: https://www.nato.int/docu/review/articles/2016/12/05/what-can-we-learn-today-from-the-three-wise-men/index.html

Ruský preklad: https://www.nato.int/docu/review/ru/articles/2016/12/05/chemu-my-moyoem-nauchit-sya-segodnya-u-treh-mudretsov/index.html

Poľský preklad: https://www.nato.int/docu/review/pl/articles/2016/12/05/czego-mozemy-nauczyc-sie-dzisiaj-od-trzech-medrcow/index.html

Materiál Lemko-angličtina pre experiment zahŕňal osobné rozhovory zaznamenané nadáciou John & Helen Timo zo Spojených štátov, ktorá si najala Petra Orynycziho na prepis rozhovorov a ich preklad do angličtiny. Nadácia neskôr láskavo darovala výsledné dvojjazyčné korpusy na vedecký výskum a vývoj. Na ochranu súkromia osôb, o ktorých sa hovorilo v rozhovoroch, a z úcty k Všeobecnému nariadeniu o ochrane údajov Európskej únie (GDPR), materiály neboli sprístupnené verejnosti. Pred zdieľaním vzoriek sa dbá na redigovanie akýchkoľvek osobne identifikovateľných informácií (PII) a osobných zdravotných informácií (PHI).

Metóda hodnotenia presnosti prekladu: BLEU

Metrika BLEU (bilingual understudy evaluation) bola použitá na meranie podobnosti s referenčným prekladom, a teda, akokoľvek nedokonale, presnosti. Hoci skóre BLEU nie je dokonalou mierou presnosti alebo kvality, je to najpoužívanejšia metrika v priemysle (Post, 2018). Modul Python bol získaný z balíka Python bleu, zdokumentovaného na nasledujúcom jednotnom lokátore zdrojov: https://pypi.org/project/bleu/

Uistili sme sa, že keď boli dané referenčné reťazce viet “it is a white cat .” a “wow , this dog is huge .” spolu s kandidátskymi hypotézami “it is a white kitten .” a “wowww , the dog is huge !”, náš systém vypočítal kumulatívne skóre BLEU 34,99, v súlade s dokumentáciou pre balík Python bleu.

Metóda normalizácie a čistenia textu

Všetok text bol prevedený na malé písmená a pred a za všetky interpunkčné znamienka bola pridaná medzera, aby systém nepredpokladal, napríklad, že „Mačka“ a „mačka.“ sú rôzne slová. Takže „Je to biela mačka.“ by sa normalizovalo na „je to biela mačka .“ Viacnásobné medzery a iné sekvencie bielych znakov boli nahradené jednou medzerou pomocou metód Python split() a join().

Metóda počítania slov

Počet slov na vetu bol určený rozdelením normalizovaného textového reťazca na pole pomocou medzery ako oddeľovača a následným spočítaním položiek v tomto poli.

Metóda merania rýchlosti prekladu

V momente, keď ľudský prekladateľ stlačil kláves Enter na začatie prekladu vety, zavolali sme metódu Python time.time() na získanie počtu sekúnd od polnoci koordinovaného univerzálneho času (UTC) 1. januára 1970 ako čísla s pohyblivou desatinnou čiarkou, bežne označovaného ako Unixový čas, a toto číslo sme použili ako čas začiatku pre človeka. Získali sme aj Unixový čas, keď naše motory strojového prekladu prevzali vetu na preklad.

Moment, keď ľudský lingvista stlačil kláves Enter na odoslanie svojho prekladu vety alebo keď stroj vrátil svoj preklad vety, bol použitý ako čas ukončenia. Odčítaním času začiatku od času ukončenia sme získali celkový počet sekúnd, ktoré trval preklad vety.

Slová za hodinu sme vypočítali vydelením rozdielu medzi Unixovým časom ukončenia a začiatku počtom slov, ako je vypočítané vyššie, a vynásobením tohto podielu číslom 3600 (čo je 60 60, teda počet sekúnd v hodine):

Rýchlosť = (Čas_ukončenia_prekladu − Čas_začiatku_prekladu) / Celkový_počet_preložených_slov × 3600

Metóda fyzickej izolácie a vzduchového oddelenia zariadenia

Zariadenie použité v experimente bolo odrezané od vonkajšieho sveta nielen prostredníctvom jeho fyzickej izolácie, ale aj použitím funkcie Režim Lietadlo v systéme Microsoft Windows 10 Pro, ktorá podľa jeho dokumentácie vypína všetky bezdrôtové komunikácie na stroji, vrátane bezdrôtovej siete IEEE 802.11b Direct Sequence, mobilnej siete, Bluetooth, Global Positioning System a Near Field Communication.

Výsledky

Rýchlosť prekladu: čím viac zdrojov má jazykový pár, tým rýchlejší je motor

Stroj prekonal človeka v rýchlosti prekladu pre jazykový pár s vysokými zdrojmi (rusko-anglický) a pár so strednými zdrojmi (poľsko-anglický), v súlade s našou hypotézou, že neurónový strojový preklad je rýchlejší ako ľudia, a predpoveďou, že naše neurónové motory preložia viac slov za hodinu. Pri preklade z ruštiny náš motor dosiahol priemerne viac ako 6 456 slov za hodinu, čo bolo o 1 170 % rýchlejšie ako náš ľudský lingvista. Pri preklade z poľštiny bol náš neurónový motor o 488 % rýchlejší ako náš ľudský prekladateľ, s priemerom 3 768 slov za hodinu. Pre jazykový pár s nízkymi zdrojmi (Lemko-anglický) náš hybridný neurónový a slovníkový/pravidlový motor dosiahol 707 slov za hodinu, čo sa takmer vyrovnalo nášmu ľudskému lingvistovi, ktorý bol o 13 % rýchlejší s 798 slovami za hodinu. Odstránenie váhy slovníkovej zložky hybridného motora takmer štvornásobne zvýšilo rýchlosť na 3 137 slov za hodinu, čo je o 293 % rýchlejšie ako človek, za cenu 13 % poklesu presnosti.

Presnosť prekladu: čím viac zdrojov má jazykový pár, tým presnejší je motor

Presnosť prekladu našich motorov umelej inteligencie prekonala presnosť profesionálnych lingvistov. To presiahlo našu hypotézu, že neurónový strojový preklad v režime offline bol teraz len o niečo menej presný ako ľudskí prekladatelia. Náš rusko-anglický motor umelej inteligencie dosiahol 158 % presnosti nášho ľudského prekladateľa, čím prekročil nami predpokladaných 75 %. Náš poľsko-anglický neurónový motor dosiahol 117 % presnosti nášho ľudského lingvistu, čím prekročil naše očakávania 75 %. Náš hybridný Lemko-anglický motor dosiahol skóre BLEU 14,57 (51 % oproti nášmu profesionálnemu prekladateľovi), v súlade s našou predpoveďou 15, po zaokrúhlení nahor. Vynechanie nášho podmotora založeného na pravidlách viedlo k 2 % nárastu presnosti a 6 % nárastu rýchlosti. Vynechanie podmotora založeného na slovníku viedlo k 13 % poklesu presnosti, ale k 344 % nárastu rýchlosti. Zhrnutie: naše motory umelej inteligencie pre jazyky so strednými až vysokými zdrojmi boli výrazne presnejšie ako náš ľudský lingvista, zatiaľ čo naše hybridné motory pre jazyky s nízkymi zdrojmi boli približne o polovicu presnejšie ako náš ľudský lingvista.

Bezpečnosť prekladu

V súlade s našou hypotézou, že riešenie neurónového strojového prekladu by mohlo byť navrhnuté tak, aby fungovalo na vzduchom oddelenom laptope, náš experiment v tomto smere uspel. V súlade s našou predpoveďou náš experiment fungoval s povoleným režimom Lietadlo systému Windows a žiadne chyby neboli spôsobené prevádzkou v odpojení od vonkajšieho sveta.

Strojový preklad založený na pravidlách medzi Lemko a poľštinou

Naša hypotéza, že príbuznosť medzi Lemko a poľštinou je dostatočne silná na to, aby bolo Lemko preložiteľné do poľštiny pomocou substitúcie založenej na pravidlách a slovníku, sa potvrdila pôsobivým výkonom nášho hybridného Lemko-anglického neurónového/pravidlového motora. Naša hypotéza, že kombinácia podmotora založeného na pravidlách s podmotorom založeným na slovníku povedie k presnejšiemu hybridnému motoru, nie je v súčasnosti našimi údajmi podporená. Pridanie modulu založeného na slovníku k modulu založenému na pravidlách zvýšilo BLEU motora o 2,16 bodu, čo je menej ako naša predpoveď 5.

Diskusia

Nová éra

Dokázali sme, že nielenže je možné poveriť umelú inteligenciu prekladom z jazykov s vysokými, strednými a nízkymi zdrojmi v prostredí s kontrolovaným prístupom, ale neurónový strojový preklad dokáže túto prácu vykonávať rýchlejšie, bezpečnejšie a v mnohých prípadoch aj lepšie. Naše výsledky nielenže podporili naše hypotézy, ale výkon našich neurónových motorov prekonal naše predpovede. Nová éra takmer reálneho času strojového prekladu, ktorý funguje nezávisle alebo v spolupráci s ľuďmi, je tu.

Rýchlosť

Náš systém prekladal z ruštiny rýchlosťou 6 456 slov za hodinu. Aby sme to uviedli do kontextu, konzultovali sme s expertom Marcom Hackelom, lingvistom z obranného priemyslu vo Washingtone, D.C. a rusko-anglickým prekladateľom s desaťročiami skúseností, ktorý nám povedal, že „orientačné pravidlo je, že veľmi zdatný prekladateľ by mal byť schopný preložiť aspoň 8 strán (t. j. 8 strán po 500 slov, spolu 4 000 slov) počas 8-hodinového pracovného dňa, za predpokladu, že neexistujú žiadne prekážky ako akronymy a podobné veci. Priemer pre mnohých je v skutočnosti 250 slov za hodinu, nie 500.“ Takže neurónové systémy dokážu za menej ako hodinu to, čo ľuďom trvá dni.

Presnosť

Naše systémy umelej inteligencie dosiahli vyššie skóre BLEU ako náš profesionálny ľudský lingvista. Podľa tejto metriky sú naše stroje „lepšie“ v preklade z ruštiny a poľštiny ako ľudia.¹ Keďže implikácia, že strojový preklad s umelou inteligenciou môže byť o viac ako 50 % presnejší ako skúsení lingvisti, je revolučná, tento experiment je potrebné zopakovať na ešte väčšom počte ľudských lingvistov a korpusov, aby sa vylúčili náhody. Použili sme výnimočne čisté, náročné texty s kvetnatým jazykom, na ktorých sa prekladové systémy tradične „zadrhávajú“ a v ktorých ľudia vynikajú. Hoci sme sa snažili o rovnaké podmienky, očakávali sme, že akákoľvek výhoda bude na strane človeka. Pre prístup k našim surovým dátam a výsledkom kontaktujte Petra Orynycziho na vyššie uvedenej adrese.

Ďalšie kroky

Použili sme staršie, zastarané vybavenie. Novšie vybavenie s rýchlejšími grafickými procesormi novej generácie by mohlo viesť k dramatickému zlepšeniu rýchlosti prekladu. Naša kódová základňa by mala byť optimalizovaná tak, aby maximalizovala využitie existujúcich zdrojov, ako sú grafické procesory (GPU). Plánujeme premeniť náš modul strojového prekladu založený na slovníkoch na testovaciu sadu pre použitie v testom riadenom vývoji (TDD) nášho modulu strojového prekladu založeného na pravidlách (RBMT), ktorý by sa mohol použiť na vývoj paralelných textov pre tréning čisto neurónových Lemko-anglických a anglicko-Lemko neurónových systémov strojového prekladu s umelou inteligenciou. Je potrebný ďalší výskum na identifikáciu bodov klesajúcich výnosov. Petro Orynycz plánuje aplikovať svoje hybridné neurónové a pravidlami riadené systémy na vývoj prekladových systémov pre rusínske a ukrajinské dialekty pôvodné pre dnešné Slovensko a Ukrajinu.

Na záver

Sme na úsvite novej transformačnej éry: dokázali sme, že umelá inteligencia dokáže vykonávať duševnú prácu rovnako dobre ako ľudia, alebo v čoraz širšom okruhu prípadov o viac ako 50 % lepšie, a to za zlomok času a s takmer žiadnym bezpečnostným rizikom. Niekoľko stoviek dolárov v hodnote vybavenia, ktoré sa zmestí do batohu, je všetko, čo človek potrebuje, aby mal vždy lepšieho ako ľudského, kremíkového terénneho lingvistu, ktorý nikdy neprezradí tajomstvá ani sa neunaví. Džin je von z fľaše a môže splniť naše želanie revitalizácie ohrozených jazykov, ak nie sen o vzkriesení vyhynutých. Udalosť masového vymierania jazykov, v ktorej sa nachádzame, sa môže zastaviť a dokonca zvrátiť. Mali by sme si dávať pozor na to, čo si želáme – svety izolované po eóny ich šifrovaním v drahých na preklad jazykoch sa chystajú zraziť. Zmena k lepšiemu, dúfame. Proščaj, jazyková bariéra. Vitaj, nový svet.

Poznámky pod čiarou

^{^ 1} Historicky niektoré komunity odmietajú používanie BLEU na porovnávanie ľudského a strojového prekladu, no žiadny iný systém nie je tak široko akceptovaný alebo dostupný so širokou, recenzovanou validáciou v praxi. V skutočnosti vynálezcovia skóre BLEU Papineni, Roukos, Ward a Zhu predznamenali tento bod napätia v práci sponzorovanej Ministerstvom obrany Spojených štátov (financovanej Agentúrou pre pokročilé obranné výskumné projekty [DARPA] a monitorovanej Veliteľstvom vesmírnych a námorných bojových systémov [SPAWAR]) ako súčasť ich prelomovej publikácie, píšuc: „Ďalej, [metrika] musí rozlišovať medzi dvoma ľudskými prekladmi rôznej kvality. Táto posledná požiadavka zabezpečuje nepretržitú platnosť metriky, keď sa MT [strojový preklad] približuje kvalite ľudského prekladu.“ Porušiac tabu hneď na začiatku, potom pokračovali vo výpočte skóre BLEU pre „Human-1“, ktorý nebol rodeným hovorcom čínštiny ani angličtiny, a „Human-2“, rodeného hovorcu angličtiny, a zaznamenali, ako sa ich skóre BLEU úzko zhodovalo s tými, ktoré udelili ľudskí posudzovatelia (Papineni, Roukos, Ward, & Zhu, 2002).

Poďakovanie

Radi by sme poďakovali nášmu poradcovi, Timovi Quiramovi, zástupcovi náčelníka divízie výcviku veliteľstva pripravenosti pobrežnej stráže Spojených štátov, za jeho povzbudenie pokračovať, predstavenstvu Antech Systems, Inc. a tímu ePerformance Naval Air Warfare Center Aircraft Division Webster Outlying Field (NAWCAD WOLF) za vytvorenie prostredia, kde môžeme sledovať naše vášne, nášmu výkonnému viceprezidentovi divízie Tomovi Dobrymu za jeho neoceniteľné vedenie, zdravý úsudok a vizionárske líderstvo, ako aj nášmu vedúcemu tímu Willovi Duffovi za to, že nás prinútil tvrdo pracovať, podporoval ducha kamarátstva a morálnu podporu. Petro Orynycz by rád poďakoval svojim projektovým manažérom v oblasti umelej inteligencie Raffaelemu Pascalemu a Michalovi Brnušákovi z poskytovateľa jazykových služieb Venga Global Inc. zo Silicon Valley za ich profesionalitu, skutočnú starostlivosť o tím a neochvejnú oddanosť správnemu vykonaniu práce. Pán Orynycz by tiež rád poďakoval svojim kolegom inžinierom, kolegom a starým priateľom Michaelovi Lawrenceovi Cramerovi z BCT LLC a Michaelovi Decerbovi z Raytheon BBN Technologies za to, že verili od začiatku. Tiež by rád poďakoval svojmu priateľovi a kolegovi počítačovému lingvistovi Jounovi Pyysalovi, Ph.D. z Helsinskej univerzity za splnenie snov. Nakoniec by rád poďakoval Marii Silvestri z Nadácie Johna a Helen Timo za jej dar na vedecký výskum a vývoj Lemko rozhovorov, ktoré viedla, a prekladov, na ktoré si ho najala, ako aj svojej drahej priateľke Ołene Duć z Ruska Bursa za jej neoceniteľné preklady a prepisy rozhovorov.

Referencie

al-Kindī, Y. i. (2002). al-Kindi’s Edited Treatise. In M. I. AL-Suwaiyel, I. A. Kadi, & M. al-Bawab (eds.), al-Kindi’s Treatise on Cryptanalysis (vol. 1) (S. M. al-Asaad, Trans., vol. 1, pp. 117-204). Damask, Sýria: KFCRIS & KACST. (Pôvodné dielo publikované približne 850).

Associated Press. (2021, 26. januára). Poland’s population rapidly shrinking under pandemic. Získané 19. júna 2021 z AP NEWS: https://apnews.com/article/pandemics-demographics-coronavirus-pandemic-birth-rates-covid-19-pandemic-5895d554be280b0ade9068c75872976e

Bureau of Labor Statistics, Ministerstvo práce Spojených štátov. (2021). Príručka pracovných vyhliadok, tlmočníci a prekladatelia. Washington, DC. Získané 1. júna 2021 z https://www.bls.gov/ooh/media-and-communication/interpreters-and-translators.htm

Cieri, C., Maxwell, M., Strassel, S., & Tracey, J. (2016). Selection Criteria for Low Resource Language Programs. Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) (pp. 4543–4549). Portorož, Slovinsko: European Language Resources Association (ELRA). Získané 27. júna 2021 z https://www.aclweb.org/anthology/L16-1720

Dadas, S. (2019). A repository of Polish NLP resources. Získané 26. mája 2021 z https://github.com/sdadas/polish-nlp-resources/

Departament Wyznań Religijnych oraz Mniejszości Narodowych i Etnicznych. (2013). IV Raport dotyczący sytuacji mniejszości narodowych i etnicznych oraz języka regionalnego w Rzeczypospolitej Polskiej – 2013. Varšava, Poľsko: Ministerstwo Spraw Wewnętrznych i Administracji. Získané 13. júna 2021 z http://mniejszosci.narodowe.mswia.gov.pl/download/86/14637/TekstIVRaportu.pdf

Department of Justice Office of Public Affairs. (2009, 17. decembra). Former FBI Contract Linguist Pleads Guilty to Leaking Classified Information to Blogger. Získané 9. júna 2021 z United States Department of Justice: https://www.justice.gov/opa/pr/former-fbi-contract-linguist-pleads-guilty-leaking-classified-information-blogger

Department of Justice Office of Public Affairs. (2018, 23. augusta). Federal Government Contractor Sentenced for Removing and Transmitting Classified Materials to a News Outlet. Získané 9. júna 2021 z United States Department of Justice: https://www.justice.gov/opa/pr/federal-government-contractor-sentenced-removing-and-transmitting-classified-materials-news

Department of Justice Office of Public Affairs. (2020, 17. augusta). Former CIA Officer Arrested and Charged with Espionage. Získané 9. júna 2021 z United States Department of Justice: https://www.justice.gov/opa/pr/former-cia-officer-arrested-and-charged-espionage

Deržavna služba statystyky Ukraïny. (2001). Čysel’nist‘ osib okremyx etnohrafičnyx hrup ukrainskoho etnosu ta ïx ridna mova. Získané 26. augusta 2021 z Vseukraïns’kyj perepys naselennja 2001: http://2001.ukrcensus.gov.ua/results/nationality_population/nationality_popul2/select_5/?botton=cens_db&box=5.5W&k_t=00&p=0&rz=1_1&rz_b=2_1&n_page=1

Duć-Fajfer, O. (2016). Literatura a proces rozwoju i rewitalizacja tożsamości językowej na przykładzie literatury łemkowskiej. In J. Olko, T. Wicherkiewicz, & R. Borges (eds.), Integral Strategies for Language Revitalization (pp. 177-178). Varšava, Poľsko: Faculty of „Artes Liberales“, University of Warsaw. Získané z http://revitalization.al.uw.edu.pl/Content/Uploaded/Documents/integral-strategies-a91f7f0d-ae2f-4977-8615-90e4b7678fcc.pdf#page=177

DuPont, Q. (2018, máj). The Cryptological Origins of Machine Translation, from al-Kindi to Weaver. (C. Mitchell, & R. Raley, eds.) amodern(8), 1-20. Získané 22. mája 2021 z http://amodern.net/article/cryptological-origins-machine-translation/

Eberhard, D. M., Simons, G. F., & Fennig, C. D. (2021). Koľko jazykov je na svete? (D. M. Eberhard, G. F. Simons, & C. D. Fennig, eds.) Získané 13. júna 2021 z Ethnologue: Languages of the World: https://www.ethnologue.com/guides/how-many-languages

Fortson IV, B. W. (2004). Indo-európsky jazyk a kultúra. Malden, MA, USA: Blackwell Publishing.

Google. (2021, 8. júna). Language Support | Cloud Translation. Získané 13. júna 2021 z Google Cloud: https://cloud.google.com/translate/docs/languages

Hajlaoui, N., Kolovratnik, D., Vaeyrynen, J., Steinberger, R., & Varga, D. (2014). DCEP -Digital Corpus of the European Parliament. Language Resources and Evaluation Conference (LREC 2014), (pp. 3164-3171). Reykjavík, Island. Získané 19. júna 2021 z http://www.lrec-conf.org/proceedings/lrec2014/pdf/943_Paper.pdf

Horoszczak, J. (2004). Słownik łemkowsko-polski, polsko-łemkowski. Varšava, Poľsko: Fundacja Wspierania Mniejszości Łemkowskiej Rutenika.

Jassem, W. (2003, jún). Polish. Journal of the International Phonetic Association, 33(1), 103-107. doi:10.1017/S0025100303001191

Jónsson, H. P., Símonarson, H. B., Snæbjarnarson, V., Steingrímsson, S., & Loftsson, H. (2020). Experimenting with Different Machine Translation Models in Medium-Resource Settings. In P. Sojka, I. Kopeček, K. Pala, & A. Horák (Ed.), Text, Speech, and Dialogue. TSD 2020. Lecture Notes in Computer Science. 12284, p. 2. Springer, Cham. doi:10.1007/978-3-030-58323-1_10

Kerča, I. (2007). Slovnyk Rusyn’sko-Ruskŷj (vol. 1). Užhorod, Ukrajina: PolyPrynt.

Kocmi, T. (2020). CUNI Submission for the Inuktitut Language in WMT News 2020. Proceedings of the 5. Conference on Machine Translation (WMT), (pp. 171–174). Association for Computational Linguistics. Získané 19. júna 2021 z https://www.aclweb.org/anthology/2020.wmt-1.14

Kocmi, T., & Bojar, O. (2019). CUNI Submission for Low-Resource Languages in WMT News 2019. Proceedings of the Fourth Conference on Machine Translation (WMT). Volume 2: Shared Task Papers (Day 1), pp. 234–240. Florencia, Taliansko: Association for Computational Linguistics. Získané 13. júna 2021 z https://www.aclweb.org/anthology/W19-5322.pdf

Lewis-Kraus, G. (2016, 14. decembra). The Great A.I. Awakening (Going Neural). The New York Times, s. 40. Získané z https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html

Macken, L., Prou, D., & Tezcan, A. (2020, 23. apríla). Kvantifikácia účinku strojového prekladu v procese produkcie vysokokvalitného ľudského prekladu. Informatics, 7(2). doi:10.3390/informatics7020012

Maximova, S., Noyanzina, O., Omelchenko, D., & Maximova, M. (2018). The Russian-speakers in the CIS countries: migration activity and preservation of the Russian language. In P. Vladimirovich (Ed.), 2018 International Scientific Conference “Investment, Construction, Real Estate: New Technologies and Special-Purpose Development Priorities” (ICRE 2018) , 212. Irkutsk, Rusko. doi:10.1051/matecconf/201821210005

Microsoft. (n.d.). Turn airplane mode on or off. Získané 9. júna 2021 z Microsoft: https://support.microsoft.com/en-us/windows/turn-airplane-mode-on-or-off-f2c2e0a1-706f-ff26-c4b2-4a37f9796df1

NATO Review. (n.d.). About us. Získané 9. júna 2021 z North Atlantic Treaty Organization: https://www.nato.int/docu/review/about.html

Ng, N., Yee, K., Baevski, A., Ott, M., Auli, M., & Edunov, S. (2019, august). Facebook FAIR’s WMT19 News Translation Task Submission. Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), 314-319. Florencia, Taliansko: Association for Computational Linguistics. doi:10.18653/v1/W19-5333

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., . . . Auli, M. (2019). fairseq: A Fast, Extensible Toolkit for Sequence Modeling. Proceedings of NAACL-HLT 2019: Demonstrations. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53. Minneapolis, MN: Association for Computational Linguistics. doi:10.18653/v1/N19-4009

Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. Proceedings of the 40. Annual Meeting on Association for Computational Linguistics (pp. 311-318). Philadelphia, pa: Annual Meeting of the Association for Computational Linguistics.

Post, M. (2018, 12. septembra). A Call for Clarity in Reporting BLEU Scores. Amazon Research.

Rabus, A., & Scherrer, Y. (2017). Lexicon Induction for Spoken Rusyn – Challenges and Results. Proceedings of the 6. Workshop on Balto-Slavic Natural Language Processing, (pp. 27-32). Valencia, Španielsko.

Scherrer, Y., & Rabus, A. (2017). Multi-source morphosyntactic tagging for Spoken Rusyn. Proceedings of the Fourth Workshop on NLP for Similar Languages, Varieties and Dialects (pp. 84-92). Valencia, Španielsko: Association for Computational Linguistics. doi:http://dx.doi.org/10.18653/v1/W17-1210

Scherrer, Y., & Rabus, A. (2019, september). Neural morphosyntactic tagging for Rusyn. (R. Mitkov, Ed.) Natural Language Engineering, 25(5), pp. 633-650. doi:10.1017/S1351324919000287

Shea, J. (2016, 5. decembra). What can we learn today from the „traja mudrci“? NATO Review. Získané 26. mája 2021 z https://www.nato.int/docu/review/articles/2016/12/05/what-can-we-learn-today-from-the-three-wise-men/index.html

Ad hoc expertná skupina UNESCO pre ohrozené jazyky. (2003). Vitalita a ohrozenie jazykov. Medzinárodné stretnutie expertov o programe UNESCO na ochranu ohrozených jazykov. Paríž: UNESCO. Získané 19. júna 2021 z http://www.unesco.org/new/fileadmin/MULTIMEDIA/HQ/CLT/pdf/Language_vitality_and_endangerment_EN.pdf

Vasmer, M. J. (n.d.). Etimologičeskyj Slovar‘ Russkogo Jazyka. (O. N. Trubačëv, Trans.) Moskva: AST (Pôvodné dielo publikované 1950).

Watral, M. (2015, február). Rewitalizacja Łemków. Znak(717), 38-44. Získané 24. augusta 2021 z https://www.miesiecznik.znak.com.pl/7172015marta-wartalrewitalizacja-lemkow/

Watral, M. (2016). Postawy względem języka łemkowskiego – wzór i jego realizacja. In J. Olko, T. Wicherkiewicz, & R. Borges (eds.), Integral Strategies for Language Revitalization (pp. 221-260). Varšava, Poľsko: Faculty of „Artes Liberales“, University of Warsaw. Získané 24. augusta 2021 z http://revitalization.al.uw.edu.pl/Content/Uploaded/Documents/integral-strategies-a91f7f0d-ae2f-4977-8615-90e4b7678fcc.pdf#page=243

Ziemski, M., Junczys-Dowmunt, M., & Pouliquen, B. (2016). Paralelný korpus Organizácie Spojených národov v1.0. Zborník z Desiatej medzinárodnej konferencie o jazykových zdrojoch a hodnotení (LREC’16), (str. 3530–3534). Portorož, Slovinsko. Získané z https://www.aclweb.org/anthology/L16-1561