BLEU-eredmények a veszélyeztetett nyelvek újjáélesztéséért: A lemkó ruszin és ukrán neurális mesterséges intelligencia fordítási pontossága szárnyal

Absztrakt

A gyorsuló globális nyelvvesztés, amely összefüggésben áll az illegális szerhasználat, a 2-es típusú cukorbetegség, a mértéktelen alkoholfogyasztás és a támadások megnövekedett előfordulásával, valamint hatszor magasabb ifjúsági öngyilkossági arányokkal, egyre nagyobb kihívást jelent a kisebbségi, őslakos, menekült, gyarmatosított és bevándorló közösségek számára. Olyan környezetekben, ahol a generációk közötti átadás gyakran megszakad, a mesterséges intelligencia neurális gépi fordítórendszerek képesek revitalizálni az örökölt nyelveket és felhatalmazni az új beszélőket azáltal, hogy lehetővé teszik számukra az azonnali fordítás révén történő megértést és megértetést. A mesterséges intelligencia megoldások azonban problémákat is felvetnek, mint például a megfizethetetlen költségek és a kimeneti minőségi problémák. A megoldás az, hogy a neurális motorokat klasszikus, szabályalapú motorokkal párosítják, amelyek lehetővé teszik a mérnökök számára, hogy megtisztítsák a jövevényszavakat és semlegesítsék a domináns nyelvek interferenciáját. Ez a munka a LemkoTran.com-on telepített motor átfogó felülvizsgálatát írja le, amely lehetővé teszi a fordítást lemkó nyelvre és lemkó nyelvről, egy súlyosan veszélyeztetett, kisebbségi ukrán genetikai besorolású nyelvjárásra, amely Lengyelország és Szlovákia határvidékén őshonos (ahol ruszin néven is emlegetik). Szótár alapú fordítási modulokat szereltek fel morfológiailag és szintaktikailag informált főnév-, ige- és melléknév-generátorokkal, amelyeket 877 lemma és 708 szószedet bejegyzés táplált, és az egész rendszert 9 518 automatikus, kodifikációra hivatkozó, kötelezően átmenő minőségellenőrzési teszttel biztosították. Ennek a munkának az eredménye 23%-os javulás az angolra történő fordítás minőségében az utolsó publikáció óta, és 35%-os minőségi növekedés az angolról lemkó nyelvre történő fordításban, olyan fordításokat eredményezve, amelyek minden mérőszám szerint felülmúlják az összes Google Fordító szolgáltatást, és 396%-kal magasabb pontszámot érnek el, mint a Google ukrán szolgáltatása lemkó nyelvre történő fordításkor.

Kérjük, hivatkozzon a következőképpen: Orynycz, P. (2023). BLEU Skies for Endangered Language Revitalization: Lemko Rusyn and Ukrainian Neural AI Translation Accuracy Soars. In: Degen, H., Ntoa, S. (eds) Artificial Intelligence in HCI. HCII 2023. Lecture Notes in Computer Science(), vol 14051. Springer, Cham. https://doi.org/10.1007/978-3-031-35894-4_10

Bővebben: BLEU-eredmények a veszélyeztetett nyelvek újjáélesztéséért: A lemkó ruszin és ukrán neurális mesterséges intelligencia fordítási pontossága szárnyal

✅ A hozzájárulás ezen verzióját szakértői értékelés után elfogadták publikálásra, de nem ez a végleges kiadott változat, és nem tükrözi az elfogadás utáni javításokat vagy korrekciókat. A végleges kiadott változat online elérhető a https://doi.org/10.1007/978-3-031-35894-4_10 címen. Az elfogadott verzió használata a kiadó elfogadott kézirat felhasználási feltételeinek hatálya alá tartozik: https://www.springernature.com/gp/open-research/policies/accepted-manuscript-terms.

1 Bevezetés

1.1 A probléma

A nyelvek legalább negyedévente egy nyelvet elveszítve tűnnek el, és ez a veszteség 2062-re megháromszorozódik, 2100-ra pedig ötszörösére nő, több mint 1500 beszélő közösséget érintve [1, 163. és 169. o.]. Ezek az eredmények összefüggésben állnak az illegális szerhasználat [2, 179. o.], a 2-es típusú cukorbetegség [3], a mértéktelen alkoholfogyasztás és a támadások [4] megnövekedett előfordulásával, valamint hatszor magasabb ifjúsági öngyilkossági arányokkal, ha a közösség tagjainak kevesebb mint fele rendelkezik nyelvtudással [5].

Egy friss amerikai tanulmány kimutatta, hogy az őslakos nyelvek használata pozitív hatással van az egészségre, a nyelvtudás szintjétől függetlenül [6]. Egy lengyelországi beszélőkön végzett kísérlet megállapította, hogy a lemkó nyelv használata mérsékli a trauma kognitív elérhetőségéből eredő érzelmi, viselkedési és depressziós tüneteket [7].

A mesterséges intelligencia gépi fordítás segíthet az említett védőhatások terjesztésében az örökölt nyelvek beszélői körében, a haldokló és alvó nyelvek újjáélesztésével [8, 577. o.]. Például az új beszélők azonnal helyes szöveget állíthatnak elő, és élvezhetik az olvasás megértését automatikus gépi fordítóeszközök segítségével, amíg el nem érik a teljes, független folyékonyságot.

1.2 Vizsgált rendszer

Nyelv

A lemkó egy határozottan súlyosan veszélyeztetett [9, 177–178. o.] délnyugat-ukrán genetikai besorolású kelet-szláv nyelvjárás [10, 52. o.; 11, 39. o.], amely a Lengyel Köztársaság és a Szlovák Köztársaság közötti határvidéken őshonos; egyesek ruszin néven is emlegetik [11, 39. o.; 12].

Keleti határok

A lemkó nyelvet keleten megkülönböztető egyedi izoglossza a rögzített paroxitonikus (utolsó előtti szótag) hangsúly, amely a lengyel és kelet-szlovák nyelvjárásokkal közös jellemző [10, 161–162. és 972–973. o.; 11, 50. o.; 13, 70–73. o.], így kiterjedése Kelet-Szlovákiában legalább a Laborec folyóig terjed, utána átmeneti zónával [13, 70. o.; 11, 50. o.]. Eközben Lengyelországban a lemkó történelmi kiterjedése legalább az Osławica vagy Wisłok folyókig ér, azon túl átmeneti zónával [11, 50. o.].

Nyugati határok

A lemkó történelmi nyugati határai a Poprád és a Dunajec folyók [14, 459. o.].

Elhelyezkedés

Az anyanyelvi beszélők ősi falvai, akiknek interjúi alkotják a korpuszt, a mai Kis-Lengyelország tartomány jelenlegi közigazgatási határain belül találhatók, amelynek fővárosa Krakkó.

Lemkó név	Átírás	Lengyel név	Megyeszékhely	Községi székhely
Ізбы	Izbŷ	Izby	Gorlice	Uście Gorlickie
Ґлaдышiв	Gladŷšiv	Gładyszów	Gorlice	Uście Gorlickie
Чорне	Čorne	Czarne	Gorlice	Sękowa
Долге	Dolhe	Długie	Gorlice	Sękowa
Білцарьова	Bilcarʹova	Binczarowa	Nowy Sącz	Grybów
Фльоринка	Flʹorynka	Florynka	Nowy Sącz	Grybów
Чырна	Čŷrna	Czyrna	Nowy Sącz	Krynica-Zdrój

2 A technológia állása

Tavaly jelentek meg a világ első minőségi értékelési eredményei a lemkó nyelvre történő gépi fordításokról: BLEU 6,28, ami közel háromszorosa volt a Google Fordító ukrán szolgáltatásának[1] (BLEU 2,17) [15, 570. o.]. Egy évvel korábban kollégáimmal publikáltuk és bemutattuk a világ első eredményeit a lemkó-angol gépi fordításról: BLEU 14,57 [16].

---

[1] Nyilatkozat: Fizetett ukrán, lengyel és orosz fordítási minőségellenőrzési szakértőként dolgozom a Google Fordító projektben. Ügyfelem székhelye San Franciscóban, Kaliforniában található.

A motort telepítették és ingyenesen elérhetővé tették az https://www.LemkoTran.com univerzális erőforrás-lokátoron, ahol egy átírási motor 2017 őszétől működik. A fordítómotorra először Dr. Scherrer és Rabus utaltak nyomtatásban a Cambridge University Press Natural Language Engineering című folyóiratában 2019-ben [17].

3 Anyagok és módszerek

3.1 Anyagok

A kísérletet egy kétnyelvű korpuszon végezték, amely lemkó cirill átiratokat és angol fordításokat tartalmazott a lengyelországi ősi földekről történt kényszerű áttelepítések túlélőivel és gyermekeivel készült interjúkból. Az átiratokat és fordításaikat[1] 3 267 szegmensben igazították össze, a Microsoft Word szerint a lemkó forrásszavak száma 68 944, az angol célszavak száma pedig 81 188 volt.

---

[1] A John és Helen Timo Alapítvány, Wilmington, Delaware, bízott meg az átiratok elkészítésével és lefordításával, akik ezután a munkatermékeket tudományos kutatási és fejlesztési törekvéseimhez adományozták.

Az igazság forrásai közé tartoztak Jarosław Horoszczak [18], Petro Pyrtej [19], Ihor Duda [20] és Janusz Rieger [21] szótárai, valamint Henryk Fontański és Mirosława Chomiak [22], valamint Petro Pyrtej [23] nyelvtanai.

3.2 Módszerek

Motorfrissítések

Ehhez a kísérlethez a LemkoTran.com-on telepített motort újonnan épített generátorokkal szerelték fel, amelyek a szófaj, nyelvtani eset és szám alapján készültek, azzal a céllal, hogy nyelvtanilag és szintaktikailag megfelelő fordításokat készítsenek 1 585 szótárbejegyzéshez, amelyeknek körülbelül a fele nem ragozódik lengyelül vagy lemkóul, lehetővé téve az egyszerű helyettesítést.

Minőségbiztosítási tesztek

A minőséget 9 518 teszt biztosította, amelyeket lehetőség szerint összevetettek a fentebb, az Anyagok részben felsorolt lemkó kodifikációkkal, nyelvtanokkal és szótárakkal. A tesztek maguk igazolják, hogy a rendszer a megadott megnyilatkozásokat a kívánt módon fordítja.

Leírás	Mennyiség
Főnév tő	414
Ige tő	296
Melléknév tő	167
Névmás, személyes	87
Névmás, egyéb	178
Számnév	86
Egyéb szótárbejegyzések	357
Összesen	1,585

Szabályalapú gépi fordítás (RMBT)

A szöveg lemkó vagy lengyel megjelenést és érzetet kapott karakterláncok, különösen ragozási végződések cseréjével.

Lengyel szekvencia	Lemkó szekvencia	Pozíció
ować	uwaty	Végződés
iami	iamy	Végződés
ają	ajut	Végződés
ze	zo	Kezdő
pod	pid	Kezdő

Fordítási minőség pontozása

A fordítási minőséget iparági szabvány metrikák szerint mérték, a Matt Post [24] által az Amazon Research-nél kifejlesztett SacreBLEU eszköz alapértelmezett beállításait használva. Az összehasonlíthatóság érdekében a lengyel nyelvet lemkó cirill betűkkel jelenítették meg, ugyanúgy, mint az utolsó kísérletben [15, 573. o.].

Kétnyelvű értékelési tanulmány (BLEU)

Ez az n-gram alapú metrika évtizedek óta széles körben elterjedt. Az Egyesült Államokban fejlesztették ki az IBM T. J. Watson Kutatóközpontban, a Védelmi Fejlett Kutatási Projektek Ügynökségének (DARPA) támogatásával és az Egyesült Államok Űr- és Haditengerészeti Hadviselési Rendszerek Parancsnokságának (SPAWAR) felügyeletével [25].

Fordítási szerkesztési arány (TER)

Ez a metrika a kimenet szemantikailag helyes fordításhoz való közelítéséhez szükséges szerkesztések számát tükrözi, célja, hogy toleránsabb legyen a kifejezésbeli eltolódásokkal szemben, mint a BLEU és más n-gram alapú metrikák. Meghatározása egy hipotézis és egy referencia közötti szerkesztési távolság számításának elosztásával történik az átlagos referencia szószámával. Fejlesztését az Egyesült Államokban szintén a DARPA támogatta [26].

Karakter n-gram F-pontszám (chrF)

Ez az európai metrika bizonyítottan nagyon jól korrelál az emberi ítéletekkel, és még a BLEU-t és a TER-t is felülmúlja [27].

4 Eredmények és megbeszélés

A kísérleti rendszer, a LemkoTran.com, minden mérőszám szerint felülmúlta az összes Google Fordító szolgáltatást. Az angol-lemkó fordítás BLEU minőségi pontszámai 35%-kal javultak az utolsó publikált eredményekhez képest [15], négyszer jobb eredményt produkálva, mint a Google Fordító következő legjobb ajánlata, az ukrán szolgáltatása. Eközben a lemkó-angol fordítás minősége 23%-kal javult az utolsó publikált eredmények óta [16], 16%-kal magasabb BLEU pontszámokat érve el, mint a Google Fordító által elért legjobb, amely az esetek 76%-ában automatikusan ukránként, 16%-ában oroszként, és 6%-ában fehéroroszként ismerte fel a lemkó nyelvet.

4.1 Angol-lemkó fordítási minőség

Pontszámok

A LemkoTran.com-on telepített motor minden mérőszám szerint felülmúlta a Google Fordítót, amikor angolról lemkó nyelvre fordított. A kísérletben a következő legmagasabb pontszámot elérő rendszer vagy a Google Fordító ukrán szolgáltatásának kimenete volt (a BLEU vagy chrF metrikák használatával), vagy a lengyel szolgáltatásáé (a TER metrika használatával).

BLEU

A LemkoTran.com-on telepített rendszer fordítási minősége, a legelterjedtebb BLEU metrika szerint mérve, 8,48-ra emelkedett, ami 35%-os javulást jelent a 2022-ben utoljára publikált eredményekhez képest [15], és most négyszerese a Google Fordító legmagasabb pontszámának.

chrF

A LemkoTran.com motor érte el a legjobb angol-lemkó karakter n-gram f-pontszámot (chrF 37,30), ami 37%-kal magasabb, mint a következő legjobb, a Google Fordító ukrán szolgáltatása. Eközben a Google Fordító orosz szolgáltatása magasabb pontszámot ért el, mint lengyel és fehérorosz megfelelői, amikor a lemkó korpusz ellenében mérték ezzel a metrikával.

TER

A LemkoTran.com motor érte el a legjobb angol-lemkó fordítási szerkesztési arányt (TER), 81,33 ponttal. A Google Fordító lengyel szolgáltatása érte el a második legjobb eredményt, szorosan követve az ukrán szolgáltatását.

Példák

Az angol bemenetre adott fordítórendszerek kimenete az alábbiakban található.

Bemenet		A gyermekeink is okosak voltak. De hol kellett volna tanulniuk?
Leírás		Kimenet	Átírás	Minőségi pontszámok
Lemkó referencia (anyanyelvi beszélő)		В нас діти тіж были мудры, але де мали ся вчыти?	V nas dity tiž bŷly mudrŷ, ale de maly sja včŷty?	BLEU 100 chrF2 100 TER 0
Fordítás lemkó nyelvre a LemkoTran.com által		Нашы діти тіж были мудры. але де мали ся вчыти?	Našŷ dity tiž bŷly mudrŷ. ale de maly sja včŷty?	BLEU 58,34 chrF2 79,03 TER 27,27
Google Fordító (kontroll)	Fordítás ukrán nyelvre	Наші діти теж були розумними. Але де вони мали вчитися?	Naši dity tež buly rozumnymy. Ale de vony maly včytysja?	BLEU 4,41 chrF2 25,80 TER 72,73
	Fordítás orosz nyelvre	Наши дети тоже были умными. Но где им было учиться?	Naši deti tože byli umnymi. No gde im bylo učitʹsja?	BLEU 3,71 chrF2 16,95 TER 90,91
	Fordítás lengyel nyelvre	Наше дзєці теж били мондре. Алє ґдзє мєлі сє учиць?	Naše dzjeci tež byly mondre. Alje gdzje mjeli sje učycʹ?	BLEU 3,12 chrF2 13,84 TER 100
	Fordítás fehérorosz nyelvre	Разумныя былі і нашы дзеці. Але дзе яны павінны былі вучыцца?	Razumnyja byli i našy dzeci. Ale dze jany pavinny byli vučycca?	BLEU 3,09 chrF2 12,83 TER 100

Bemenet		És általánosságban elmondható, hogy a lengyelországi lemkóknak nincs, úgymond, olyan vezetőjük, aki mondana valamit.
Leírás		Termék	Átírás	Minőségi pontszámok
Lemkó referencia (anyanyelvi beszélő)		А воґулі Лемкы в Польщы не мают такого, же так повім, такого лідера, котрий бы штоси повіл.	A voguli Lemkŷ v Pol’ščŷ ne majut takoho, že tak povim, takoho lidera, kotryj bŷ štosy povil.	BLEU 100 chrF2 100 TER 0
Fordítás lemkó nyelvre a LemkoTran.com által		І генеральні Лемкы в Польщы не мают лидера, же так повім, котрий бы штоси повіл.	I heneral’ni Lemkŷ v Pol’ščŷ ne majut lydera, že tak povim, kotryj bŷ štosy povil.	BLEU 55,58 chrF2 65,32 TER 29,41
Google Fordító (kontroll)	Fordítás lengyel nyelvre	І ґенеральнє Лемковє в Польсце нє майон лідера, же так повєм, ктури би цось повєдзял.	I general’nje Lemkovje v Pol’sce nie majon lidera, že tak povjem, ktury by cos’ povjedzjal.	BLEU 9,26 chrF2 29,29 TER 82,35
	Fordítás ukrán nyelvre	І взагалі, лемки в Польщі не мають лідера, так би мовити, який би щось сказав.	I vzahali, lemky v Pol’shchi ne mayut’ lidera, tak by movyty, yakyj by shchos’ skazav.	BLEU 5,15 chrF2 26,56 TER 82,35
	Fordítás orosz nyelvre	И вообще, у лемков в Польше нет, так сказать, лидера, который бы что-то сказал.	I voobšče, u lemkov v Polʹše net, tak skazatʹ, lidera, kotoryj by čto-to skazal.	BLEU 2,96 chrF2 25,87 TER 88,24
	Fordítás fehérorosz nyelvre	І ўвогуле лэмкі ў Польшчы ня маюць лідэра, так бы мовіць, які б нешта сказаў.	I ŭvohule lèmki ŭ Pol′ščy nja majuc′ lidèra, tak by movic′, jaki b nešta skazaŭ.	BLEU 2,72 chrF2 18,05 TER 100

Lemkó–angol fordítás

Pontszámok

Minden metrika esetében a LemkoTran.com-on telepített motor felülmúlta a Google Fordítót, amely esetében a standard ukrán nyelvből történő fordítás mindig a második legjobb volt, ezt követte a forrásnyelv automatikus felismerése, majd a belaruszból, aztán a lengyelből történő fordítás, az orosz pedig mindig az utolsó helyen végzett. A Google Fordító az esetek 76%-ában ukránként, 16%-ában oroszként, 6%-ában belaruszként, és a fennmaradó időben egyéb cirill betűs nyelvekként (pl. mongol) ismerte fel a lemkót.

BLEU

A LemkoTran.com 17,95 BLEU pontszámot ért el angolra fordítva, ami 23%-os javulás az utoljára publikált 14,57 BLEU pontszámhoz képest, és 16%-kal magasabb, mint a Google Fordító ukrán szolgáltatásának 15,43 BLEU pontszáma.

chrF

A LemoTran.com-on telepített motor 45,89 karakteres n-gram f-pontszámot (chrF) ért el angolra fordítva, ami 5%-kal jobb volt, mint a Google Fordító ukrán szolgáltatásának pontszáma.

TER

A LemkoTran.com 70,38 Translation Edit Rate (TER) pontszámot ért el angolra fordítva, ami 7%-kal jobb volt, mint a Google Fordító ukrán szolgáltatásának pontszáma.

Példák

Az angol bemenetre adott fordítórendszerek kimenete az alábbiakban található.

	Leírás	Termék	Minőségi pontszámok
Anyanyelvi beszélő által beszélt lemkó bemeneti átirata		Як розділяме языкы, то мала-м контакт з польскым, то не было так, же пішла-м до школы без польского, бо зме мали сусідів Поляків.	n/a
Átírás		Jak rozdiljame jazŷkŷ, to mala-m kontakt z pol’skŷm, to ne bŷlo tak, že pišla-m do školŷ bez pol’skoho, bo zme maly susidiv Poljakiv.	n/a
Kétnyelvű szakember által készített referenciafordítás		Ami a nyelvek szétválasztását illeti, volt kapcsolatom a lengyellel. Nem úgy volt, hogy lengyel tudás nélkül kezdtem az iskolát, mert lengyel szomszédaink voltak.	BLEU 100 chrF2 100 TER 0
Fordítás lemkóból a LemkoTran.com rendszerével		Amikor szétválasztjuk a nyelveket, volt kapcsolatom a lengyellel, nem úgy volt, hogy lengyel tudás nélkül jártam iskolába, mert lengyel szomszédaink voltak.	BLEU 45.84 chrF2 69.60 TER 32.00
Google Fordító (kontroll)	ukránból (92%-os megbízhatósággal automatikusan felismerve)	Ahogy felosztjuk a nyelveket, akkor volt kapcsolatom a lengyellel, akkor nem úgy volt, és lengyel tudás nélkül jártam iskolába, mert lengyelek voltak a szomszédaim.	BLEU 15.87 chrF2 54.38 TER 72.00
	belaruszból	Ahogy szétválasztjuk a nyelveket, akkor kevés kapcsolatom volt a lengyellel, akkor nem úgy volt, de lengyel tudás nélkül jártam iskolába, mert kevés lengyel szomszédunk volt.	BLEU 11.76 chrF2 58.92 TER 68.00
	oroszból	Ahogy terjesztjük a nyelveket, akkor kevés kapcsolatom volt a lengyellel, akkor nem úgy volt, de lengyel tudás nélkül jártam iskolába, mert a kígyók öngyilkosok voltak Polyakivban.	BLEU 6.87 chrF2 42.66 TER 92.00
	lengyelből	Ahogy terjesztem a nyelvet, kevés kapcsolatom van a lengyel nyelvvel, nem úgy volt, hogy lengyel tudás nélkül jártam iskolába, mert megváltoztatom a kis lengyel nyelvemet.	BLEU 5.02 chrF2 45.35 TER 84.00

5. Összefoglalás

A morfológiailag és szintaktikailag informált generátorok neurális motorokhoz való kapcsolása legalább egyharmaddal javíthatja a gépi fordítás minőségét, miközben azzal a járulékos előnnyel is jár, hogy képessé teszi a mérnököket a jövevényszavak kiiktatására és más domináns nyelvi interferenciák ellensúlyozására, valamint biztosítja a szabványoknak való megfelelést, például a kisebbségi nyelvek kodifikációját. A mesterséges intelligencia modellekben rejlő tökéletlenségek által támasztott minőségi pontszám-üvegplafonok is áttörhetők megbízható mérnöki munkával. A lemkó, valamint a hasonlóan alacsony erőforrású, őshonos kisebbségi nyelvek esetében a fordítási minőség, valamint a revitalizációs forradalmak tekintetében most már a határ a csillagos ég.

Köszönetnyilvánítás

Szeretném megköszönni Dr. Ming Qiannek (Charles River Analytics) a kísérlet elvégzéséhez nyújtott inspirációt, Michael Decerbónak (Raytheon BBN Technologies) és Dr. James Joshua Penningtonnak az éleslátó megjegyzéseiket, valamint Dr. Yves Scherrernek (Helsinki Egyetem) a projekt iránti érdeklődését és ötleteit.

Hivatkozások

1. Bromham, L., Dinnage, R., Skirgård, H. Ritchie, A., Cardillo, M., Meakins, F., Greenhill, S., Hua, X.: Global predictors of language endangerment and the future of linguistic diversity. Nature Ecology & Evolution 6, 163–173 (2022). https://doi.org/10.1038/s41559-021-01604-y
2. Gonzalez, M., Aronson, B., Kellar, S., Walls, M., Greenfield, B.: Language as a Facilitator of Cultural Connection. ab-Original 1(2), 176–194 (2017). https://doi.org/10.5325/aboriginal.1.2.0176
3. Oster, R., Grier, A., Lightning, R., Mayan, M., Toth, E.: Cultural continuity, traditional Indigenous language, and diabetes in Alberta First Nations: a mixed methods study. International Journal for Equity in Health 13, 92 (2014). https://doi.org/10.1186/s12939-014-0092-4
4. Culture, Heritage and Leisure: Speaking Aboriginal and Torres Strait Islander Languages. In: 4725.0 – Aboriginal and Torres Strait Islander Wellbeing: A focus on children and youth. Australian Bureau of Statistics (2011). https://www.abs.gov.au/ausstats/abs@.nsf/Latestproducts/1E6BE19175C1F8C3CA257A0600229ADC
5. Hallett, D., Chandler, M., Lalonde, C.: Aboriginal language knowledge and youth suicide. Cognitive Development 22(3), 392–399 (2007). https://doi.org/10.1016/j.cogdev.2007.02.001
6. Whalen, D., Lewis, M., Gillson, S., McBeath, B., Alexander, B., Nyhan, K.: Health effects of Indigenous language use and revitalization: a realist review. International Journal for Equity in Health 21, 169 (2022). https://doi.org/10.1186/s12939-022-01782-6
7. Skrodzka, M., Hansen, K., Olko, J., Bilewicz, M.: The Twofold Role of a Minority Language in Historical Trauma: The Case of Lemko Minority in Poland. Journal of Language and Social Psychology. 39(4) 551–566 (2020). https://doi.org/10.1177/0261927X20932629
8. Zhang, S., Frey, B., Bansal, M.: ChrEn: Cherokee-English Machine Translation for Endangered Language Revitalization. In: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 577–595. Association for Computational Linguistics, Online (2020). http://dx.doi.org/10.18653/v1/2020.emnlp-main.43
9. Duć-Fajfer, O.: Literatura a proces rozwoju i rewitalizacja tożsamości językowj na przykładzie literatury łemkowskiej (lengyelül). In: Olko, J., Wicherkiewicz, T., Borges, R. (eds.) Integral Strategies for Language Revitalization, 1st edn., pp. 175–200. Faculty of “Artes Liberales”, University of Warsaw, Warsaw (2016). https://culturalcontinuity.al.uw.edu.pl/resource/integral-strategies-for-language-revitalization/
10. Shevelov, G.: A Historical Phonology of the Ukrainian Language (ukrán fordítás). Vakulenko, S., Danylenko, A. (trans.), Ushkalov, L. (ed.). Naukove vydavnyctvo “AKTA”, Kharkiv (2002, original work published 1979). http://irbis-nbuv.gov.ua/ulib/item/UKR0001641
11. Rieger, J.: Stanovysko i zrižnycjuvanja „rusynskŷx” dialektiv v Karpatax (ruszinul). In: Magosci, P. (ed.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, pp. 39–66. 2nd edn. Uniwersytet Opolski — Instytut Filologii Polskiej, Opole (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
12. Vaňko, J.: Klasifikacija i holovnŷ znakŷ Karpatʹskŷx Rusynʹskŷx dialektiv (ruszinul). In: Magosci, P. (ed.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, pp. 67–84. 2nd edn. Uniwersytet Opolski — Instytut Filologii Polskiej, Opole (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
13. Vaňko, J.: The Rusyn language in Slovakia: between a rock and a hard place. In: Duchêne, A. (ed.) International Journal of the Sociology of Language, vol. 2007, no. 183, pp. 75–96. Walter de Gruyter GmbH, Berlin (2007). https://doi.org/10.1515/IJSL.2007.005
14. Sopolyha, M.: Do pytanʹ etničnoï identyfikaciï ta sučasnyx etničnyx procesiv ukraïnciv Prjašivščyny (ukránul). In: Skrypnyk, H. (ed.) Ukraïnci-rusyny: etnolʹinhvistyčni ta etnokulʹturni procesy v istoryčnomu rozvytku, pp. 454–487. National Academy of Sciences of Ukraine, National Association of Ukrainian Studies, Rylsky Institute of Art Studies, Folklore and Ethnology, Kyiv (2013). http://irbis-nbuv.gov.ua/ulib/item/UKR0001502
15. Orynycz, P.: Say It Right: AI Neural Machine Translation Empowers New Speakers to Revitalize Lemko. In: Degen, H., Ntoa, S. (eds.) Artificial Intelligence in HCI. HCII 2022. Lecture Notes in Computer Science, vol 13336, pp. 567–580. Springer, Cham (2022). https://doi.org/10.1007/978-3-031-05643-7_37
16. Orynycz, P., Dobry, T., Jackson, A., Litzenberg, K.: Yes I Speak… AI neural machine translation in multi-lingual training. In: Proceedings of the Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC) 2021, Paper no. 21176. National Training and Simulation Association, Orlando (2021). https://www.xcdsystem.com/iitsec/proceedings/index.cfm?Year=2021&AbID=96953&CID=862
17. Scherrer, Y., Rabus, A.: Neural morphosyntactic tagging for Rusyn. In: Mitkov, R., Tait, J., Boguraev, B. (eds.) Natural Language Engineering, vol. 25, no. 5, pp. 633–650. Cambridge University Press, Cambridge (2019). https://doi.org/10.1017/S1351324919000287
18. Horoszczak, J.: Słownik łemkowsko-polski, polsko-łemkowski (lengyelül). Rutenika, Warsaw (2004).
19. Pyrtej, P.: Korotkyj slovnyk lemkivsʹkyx hovirok (ukránul). Siversiya MV, Ivano-Frankivsk (2004).
20. Duda, I.: Lemkivsʹkyj slovnyk (ukránul). Aston, Ternopil (2011).
21. Rieger, J.: Słownictwo i nazewnictwo łemkowskie (lengyelül). Wydawnictwo naukowe Semper, Warsaw (1995).
22. Fontański, H., Chomiak, M.: Gramatyka języka łemkowskiego (lengyelül). Wydawnictwo Naukowe „Śląsk”, Katowice (2000).
23. Pyrtej, P.: Dialekt łemkowski. Fonetyka i morfologia (lengyelül). Hojsak, W. (ed.). Zjednoczenie Łemków, Gorlice (2013).
24. Post, M.: A Call for Clarity in Reporting BLEU Scores. In: Proceedings of the Third Conference on Machine Translation (WMT), vol. 1, pp. 186–191. Association for Computational Linguistics, Brussels (2018). https://doi.org/10.48550/arXiv.1804.08771
25. Papineni, K., Roukos, S., Ward, T., Wei-Jing, Z.: BLEU: a Method for Automatic Evaluation of Machine Translation. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 02), pp. 311–318. Association for Computational Linguistics, Philadelphia (2002). https://doi.org/10.3115/1073083.1073135
26. Snover, M., Dorr, B., Schwartz, R., Micciulla, L., Makhoul, J.: A Study of Translation Edit Rate with Targeted Human Annotation. In: Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pp. 223–231. Association for Machine Translation in the Americas, Cambridge (2006). https://aclanthology.org/2006.amta-papers.25
27. Popović, M.: chrF: character n-gram F-score for automatic MT evaluation. In: Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392–395. Association for Computational Linguistics, Lisbon (2015). http://dx.doi.org/10.18653/v1/W15-3049