Блакитне небо для відродження зникаючих мов: Точність перекладу лемківської русинської та української мов нейронним штучним інтелектом зростає

Анотація

Прискорена глобальна втрата мов, пов „язана зі збільшенням кількості випадків вживання заборонених речовин, діабету 2 типу, пияцтва та насильства, а також шестикратним зростанням рівня самогубств серед молоді, створює все більші проблеми для меншин, корінних народів, біженців, колонізованих та іммігрантських спільнот. У середовищах, де часто порушується передача знань від покоління до покоління, системи нейронного машинного перекладу зі штучним інтелектом мають потенціал для відродження мовної спадщини та розширення можливостей нових носіїв, дозволяючи їм розуміти і бути зрозумілими завдяки миттєвому перекладу. Однак рішення на основі штучного інтелекту створюють проблеми, такі як непомірно висока вартість і низька якість перекладу. Рішенням є поєднання нейронних двигунів із класичними, заснованими на правилах, що дає змогу інженерам вичищати запозичені слова та нейтралізувати перешкоди з боку домінуючих мов. У цій роботі описано модернізацію механізму, розгорнутого на LemkoTran.com, щоб уможливити переклад лемківською мовою, яка перебуває під загрозою зникнення і є меншиною української генетичної класифікації, що проживає на прикордонних територіях між Польщею та Словаччиною (де її також називають русинською), а також з неї. Модулі перекладу на основі словників були оснащені морфологічно та синтаксично обґрунтованими генераторами іменників, дієслів та прикметників, що спираються на 877 лем разом із 708 статтями глосарію, а вся система пройшла 9 518 автоматичних тестів контролю якості з кодифікацією та реферуванням, які є обов“ язковими. Результатом цієї праці є покращення якості перекладу англійською мовою на 23% з часу останньої публікації та підвищення якості перекладу з англійської на лемківську мову на 35%, що дає змогу отримати переклади, які перевершують усі сервіси Google Translate за всіма показниками, а при перекладі лемківською мовою на 396% вищі, ніж в українському сервісі від Google.

Будь ласка, цитуйте як: Оринич, П. (2023). Блакитне небо для відродження зникаючих мов: Точність перекладу лемківської русинської та української мов за допомогою нейронного штучного інтелекту зростає. In: Degen, H., Ntoa, S. (eds) Artificial Intelligence in HCI. HCII 2023. Конспект лекцій з інформатики(), том 14051. Springer, Cham. https://doi.org/10.1007/978-3-031-35894-4_10

Читати далі: Блакитне небо для відродження зникаючих мов: Точність перекладу лемківської русинської та української мов нейронним штучним інтелектом зростає

Ця версія доповіді була прийнята до публікації після рецензування, але не є офіційною версією і не відображає змін, внесених після прийняття, або будь-яких виправлень. Повна версія статті доступна на сайті https://doi.org/10.1007/978-3-031-35894-4_10. Використання цієї прийнятої версії регулюється Умовами використання прийнятого рукопису видавництва: https://www.springernature.com/gp/open-research/policies/accepted-manuscript-terms.

1 Вступ

1.1 Проблема

Мови втрачаються зі швидкістю щонайменше одна за календарний квартал, причому до 2062 року ця втрата потроїться, а до 2100 року збільшиться в п „ять разів, що вплине на понад 1 500 мовних спільнот [1, с. 163 і 169]. Такі наслідки пов“ язані з підвищеним рівнем вживання заборонених речовин [2, с. 179], діабету 2 типу [3], пияцтва та насильства [4], а також із шестиразовим зростанням рівня самогубств серед молоді, коли менше половини членів громади володіють мовою [5].

Нещодавнє дослідження, проведене в США, показало, що використання мови корінних народів позитивно впливає на здоров „я, незалежно від рівня володіння нею [6]. Експеримент на носіях мови в Польщі показав, що використання лемківської мови пом“ якшує емоційні, поведінкові та депресивні симптоми, що виникають внаслідок когнітивної доступності травми [7].

Машинний переклад зі штучним інтелектом може бути корисним у поширенні вищезгаданих захисних ефектів на носіїв спадщини, відроджуючи вмираючі та „сплячі“ мови [8, с. 577]. Наприклад, нові носії мови можуть миттєво створювати правильний текст і насолоджуватися читанням, використовуючи автоматичний машинний переклад як допоміжний засіб, доки не буде досягнуто повного, незалежного володіння мовою.

1.2 Досліджувана система

Мова

Лемки – це східнослов’янська лемківська народність південно-західної України, що перебуває під загрозою зникнення [9, с. 177-178], яка проживає на прикордонних територіях між Республікою Польща та Словацькою Республікою [10, с. 52; 11, с. 39]; дехто називає її русинською [11, с. 39; 12].

Східні кордони

Унікальною ізоглосою, що диференціює лемків на схід, є фіксований парокситонічний (передостанній склад) наголос, спільний для польських і східнословацьких діалектів [10, с. 161-162 і 972-973; 11, с. 50; 13, с. 70-73], що робить його ареал у Східній Словаччині принаймні до річки Лаборець, з перехідною зоною, що простягається далі [13, с. 70; 11, с. 50]. Натомість у Польщі історичний ареал лемків сягає щонайменше до річок Ославиця або Віслок, а за ними – перехідна зона [11, с. 50].

Західні кордони

Історичними західними кордонами Лемківщини є річки Попрад і Дунаєць [14, с. 459].

Місцезнаходження

Села предків носіїв мови, інтерв’ю з якими складають корпус, знаходяться в межах сучасних адміністративних кордонів сучасного польського воєводства, столицею якого є Краків.

Лемківське ім’я	Транслітерація	Польська назва	Окружний суд	Гмінне сидіння
Хати	Izbŷ	Ізбі.	Горлиці	Устьє Горлицьке
Ґлaдишiв	Gladŷšiv	Гладишів	Горлиці	Устьє Горлицьке
Чорне.	Чорне	Чарне	Горлиці	Сенкова
Борг	Доле!	Długie	Горлиці	Сенкова
Білцарьова	Bilcarʹova	Бінчарова	Новий Сонч	Грибів
Фльорінка	Флоринка	Флоринка	Новий Сонч	Грибів
Чірна.	Čŷrna	Чирна	Новий Сонч	Криниця-Здруй

2 Сучасний стан справ

Минулого року були опубліковані перші у світі результати оцінки якості машинного перекладу лемківською мовою: BLEU 6.28, що майже втричі перевищило показник українського сервісу Google Translate[1] (BLEU 2.17) [15, с. 570]. Роком раніше ми з колегами опублікували та презентували перші у світі результати машинного перекладу з лемківської на англійську мову: BLEU 14.57 [16].

---

[1] Розкриття інформації: Я працюю оплачуваним спеціалістом з контролю якості перекладу української, польської та російської мов у проекті Google Translate. Штаб-квартира мого клієнта знаходиться в Сан-Франциско, штат Каліфорнія.

Рушій розгорнуто та розміщено у вільному доступі на універсальному локаторі ресурсів https://www.LemkoTran.com, де з осені 2017 року функціонує механізм транслітерації. Вперше про механізм транслітерації згадується в друкованому вигляді докторами Шеррером і Рабусом у журналі Cambridge University Press „Natural Language Engineering“ у 2019 році [17].

3 Матеріали та методи

3.1 Матеріали

Експеримент проводився на двомовному корпусі, що складається з лемківських кириличних транскриптів та англійських перекладів інтерв’ю з тими, хто вижив, і дітьми примусових переселенців з прабатьківських земель у Польщі. Транскрипти та їхні переклади[1] були вирівняні по 3 267 сегментам, причому Microsoft Word забезпечив кількість слів лемківського оригіналу 68 944, а англійського перекладу – 81 188.

---

[1] Я був найнятий для створення стенограм і перекладу Фондом Джона і Хелен Тімо з Вілмінгтона, штат Делавер, який потім пожертвував результати роботи для моїх наукових досліджень і розробок.

Джерелами істини були словники Ярослава Горощака [18], Петра Пиртея [19], Ігоря Дуди [20] та Януша Ріґера [21], а також граматики Генрика Фонтанського і Мирослави Хом’як [22] та Петра Пиртея [23].

3.2 Методи

Модернізація двигуна

Для цього експерименту двигун, розгорнутий на LemkoTran.com, було оснащено новоствореними генераторами, що враховують частину мови, граматичний відмінок і число, з метою створення граматично і синтаксично відповідного перекладу для 1 585 словникових статей, близько половини з яких не відмінюються в польській або лемківській мовах, що дозволяє просту заміну.

Тести забезпечення якості

Якість було забезпечено 9 518 тестами, перехресними посиланнями, де це можливо, на лемківські кодифікації, граматики та словники, перелічені вище в розділі Матеріали. Самі тести засвідчують, що система перекладає задані висловлювання належним чином.

Опис	Кількість
Основа іменника	414
Основа дієслова	296
Основа прикметника	167
Займенник, особовий	87
Займенник, інший	178
Число	86
Інші словникові статті	357
Всього	1,585

Машинний переклад на основі правил (RMBT)

Тексту було надано лемківського або польського вигляду шляхом заміни послідовності символів, а особливо флексійних закінчень.

Польська послідовність	Лемківська послідовність	Посада
ować	uwaty	Фінал
Ямі	Ямі.	Фінал
ają	трохи	Фінал
Зе.	зо	Ініціал
стручок	pid	Ініціал

Оцінка якості перекладу

Якість перекладу оцінювали за стандартними галузевими показниками з використанням стандартних налаштувань інструменту SacreBLEU, винайденого в Amazon Research Меттом Постом [24]. Для порівняння польську мову було передано лемківською кирилицею так само, як і в попередньому експерименті [15, с. 573].

Двомовне навчання з оцінювання (BLEU)

Ця метрика, заснована на n-грамах, користується широким попитом протягом десятиліть. Вона була розроблена в США в Дослідницькому центрі IBM T. J. Watson за підтримки Агентства передових оборонних дослідницьких проектів (DARPA) та моніторингу Командування космічних і військово-морських бойових систем США (SPAWAR) [25].

Ставка редагування перекладу (TER)

Ця метрика відображає кількість редагувань, необхідних для того, щоб результат семантично наблизився до правильного перекладу, і є більш толерантною до фразових зсувів, ніж BLEU та інші метрики, що базуються на n-грамах. Він визначається шляхом ділення розрахованої відстані редагування між гіпотезою та джерелом на середній словниковий запас джерела. Його розробка в США також була підтримана DARPA [26].

Символ n-градусного F-рахунку (chrF)

Ця європейська метрика дуже добре корелює з людськими судженнями і навіть перевершує як BLEU, так і TER [27].

4 Результати та обговорення

Експериментальна система LemkoTran.com перевершила всі сервіси Google Translate за всіма показниками. Якість перекладу з англійської на лемківську мову за шкалою BLEU покращилася на 35% порівняно з останніми опублікованими результатами [15], що в чотири рази краще, ніж у наступного за якістю перекладу українського сервісу Google Translate. Тим часом якість перекладу лемківською мовою з англійської покращилася на 23% порівняно з останніми опублікованими результатами [16], отримавши оцінку BLEU на 16% вище, ніж найкращий результат Google Translate, який автоматично розпізнає лемківську мову як українську в 76% випадків, як російську в 16% випадків і як білоруську в 6% випадків.

4.1 Якість перекладу з англійської на лемківську

Оцінки

Движок, розгорнутий на LemkoTran.com, перевершив Google Translate за всіма показниками при перекладі з англійської на лемківську мову. Наступним за рейтингом в експерименті був висновок українського сервісу Google Translate (за метриками BLEU або chrF) або польського сервісу (за метрикою TER).

СИНІЙ

Якість перекладу системи, розгорнутої на LemkoTran.com, за найпоширенішою метрикою BLEU, зросла до 8,48, що на 35% краще за результати, опубліковані востаннє у 2022 році [15], і тепер вчетверо перевищує найвищий показник Google Translate.

chrF

Движок LemkoTran.com показав найкращий показник n-градусного f-рахунку англійської мови до лемківських символів (chrF 37.30), що на 37% вище, ніж у наступного найкращого, українського сервісу Google Translate. Тим часом, російськомовний сервіс Google Translate отримав вищий бал, ніж його польські та білоруські аналоги, коли порівнював його з лемківським корпусом за цією метрикою.

TER

Движок LemkoTran.com показав найкращий коефіцієнт редагування перекладу з англійської на лемківську мову (TER), набравши 81,33. Польський сервіс Google Translate посів друге місце, а на третьому – український.

Зразки

Нижче наведено результати роботи систем перекладу, коли на вхід подано англійську мову.

Вхідні дані		Наші діти теж були розумні. Але де вони мали вчитися?
Опис		Вихідні дані	Транслітерація	Оцінки якості
Лемківська довідка (носій мови)		У нас діти теж були мудрі, але де мали вчитися?	У нас є діти, які часто бувають брудними, але мало хто з них вчащає?	BLEU 100 chrF2 100 TER 0
Переклад лемківською мовою від LemkoTran.com		Наші діти теж були мудрі, але де мали вчитися?	Našŷ dity tiž bŷly mudrŷ. ale de maly sja včŷty?	BLEU 58.34 chrF2 79.03 TER 27.27
Google Translate (контроль)	Переклад на українську мову	Наші діти теж були розумними. Але де вони мали вчитися?	Naši dity tež buly rozumnymy. Ale de vony maly včytysja?	BLEU 4.41 chrF2 25.80 TER 72.73
	Переклад на російську мову	Наші діти теж були розумними. Але де їм було вчитися?	Naši deti tože byli umnymi. No gde im bylo učitʹsja?	BLEU 3.71 chrF2 16.95 TER 90.91
	Переклад польською мовою	Наше дзєці теж били мондре. Алє ґдзє мєлі сє учиць?	Naše dzjeci tež byly mondre. Alje gdzje mjeli sje učycʹ?	BLEU 3.12 chrF2 13.84 TER 100
	Переклад білоруською мовою	Розумні були і наші дзеці. Але чи були дзе яни павінни вчитися?	Razumnyja byli i našy dzeci. Ale dze jany pavinny byli vučycca?	BLEU 3.09 chrF2 12.83 TER 100

Вхідні дані		І взагалі, лемки в Польщі не мають лідера, так би мовити, який би щось говорив.
Опис		Продукт	Транслітерація	Оцінки якості
Лемківський довідник (носій мови)		А воґулі лемки в Польщі не мають такого, так би мовити, лідера, який би штоси повіл.	A voguli Lemkŷ v Pol’ščŷ ne majut takoho, že tak povim, takoho lidera, kotryj bŷ štosy povil.	BLEU 100 chrF2 100 TER 0
Переклад лемківською мовою від LemkoTran.com		І генеральні лемки в Польщі не мають лідера, же так повім, який би штоси повіл.	I heneral „ni Lemkŷ v Pol“ ščŷ ne majut lydera, že tak povim, kotryj bŷ štosy povil.	BLEU 55.58 chrF2 65.32 TER 29.41
Google Translate (контроль)	Переклад польською мовою	І ґенеральне Лемків’я в Польщі не має лідера, але так повєм, хто б це повєдзял.	I general’nje Lemkovje v Pol’sce nie majon lidera, že tak povjem, ktury by cos’ povjedzjal.	BLEU 9.26 chrF2 29.29 TER 82.35
	Переклад на українську мову	І взагалі, лемки в Польщі не мають лідера, так би мовити, який би щось сказав.	I vzahali, lemky v Pol’shchi ne mayut’ lidera, tak by movyty, yakyj by shchos’ skazav.	BLEU 5.15 chrF2 26.56 TER 82.35
	Переклад на російську мову	І взагалі, у лемків у Польщі немає, так би мовити, лідера, який би щось сказав.	I voobšče, u lemkov v Polʹše net, tak skazatʹ, lidera, kotoryj by čto-to skazal.	BLEU 2.96 chrF2 25.87 TER 88.24
	Переклад білоруською мовою	І в волевиявленні поляків я не маю лідера, так би мови, яка б нешта сказала.	I ŭvohule lèmki ŭ Pol′ščy nja majuc′ lidèra, take by movic′, jaki b nešta skazaŭ.	BLEU 2.72 chrF2 18.05 TER 94.12

Переклад з лемківської на англійську

Оцінки

За всіма показниками движок, розгорнутий на LemkoTran.com, перевершив Google Translate, для якого переклад як зі стандартної української мови завжди був на другому місці, потім він автоматично визначав мову оригіналу, потім перекладав як з білоруської, а потім з польської, а російська завжди була на останньому місці. У 76% випадків Google Translate розпізнавав лемківську мову як українську, у 16% – як російську, у 6% – як білоруську, а в решті випадків – як різні мови, що використовують кирилицю (наприклад, монгольську).

СИНІЙ

При перекладі на англійську мову LemkoTran.com отримав 17,95 балів, що на 23% краще, ніж останній опублікований результат (14,57 балів), і на 16% вище, ніж оцінка українського сервісу Google Translate (15,43 бали).

chrF

При перекладі на англійську мову рушій, розгорнутий на LemoTran.com, досягнув символьного n-грамового f-рахунку (chrF) 45,89, що на 5% краще, ніж показник українського сервісу Google Translate.

TER

ЛемкоТран.ком отримав показник редагування перекладу (TER) 70,38 при перекладі англійською мовою, що на 7% краще, ніж показник українського сервісу Google Translate.

Зразки

Нижче наведено результати роботи систем перекладу, коли на вхід подано англійську мову.

	Опис	Продукт	Якість Оцінки
Вхідна транскрипція лемківської мови від носія мови		Як розділяємо мови, то мала контакт з польською, то не було так, так само пішла до школи без польської, бо мали сусідів поляків.	н/д
Транслітерація		Jak rozdiljame jazŷkŷ, to mala-m kontakt z polskŷm, to ne bŷlo tak, že pišla-m do školŷ bez polskoho, bo zme maly susidiv Poljakiv.	н/д
Довідковий переклад, виконаний двомовним професіоналом		Якщо говорити про окремі мови, то у мене був контакт з польською. Я ж не пішов до школи, не знаючи польської, бо у нас були сусіди-поляки.	BLEU 100 chrF2 100 TER 0
Переклад з лемківської мови за допомогою системи на LemkoTran.com		Коли ми розділили мови, я спілкувався польською, це не було так, що я ходив до школи без польської, бо у нас були сусіди-поляки.	BLEU 45.84 chrF2 69.60 TER 32.00
Google Translate (контроль)	з української (визначено автоматично з достовірністю 92%)	Оскільки ми розділяємо мови, то я спілкувався з польською, потім це було не так, і я ходив до школи без польської, тому що у мене були сусіди-поляки.	BLEU 15.87 chrF2 54.38 TER 72.00
	з білоруської	Оскільки ми розділяємо мови, то я мало контактував з польською, потім це було не так, але я ходив до школи без польської, тому що у нас було мало сусідів-поляків.	BLEU 11.76 chrF2 58.92 TER 68.00
	з російської	Коли ми поширювали мови, то з польською було мало контактів, потім вже не було, але до школи я ходив без польської, бо в Полякові змії кусалися.	BLEU 6.87 chrF2 42.66 TER 92.00
	з польської	Оскільки я поширюю мову, я мало контактую з польською мовою, це не було так, що я ходив до школи без польської мови, тому що я зміню свою маленьку польську мову.	BLEU 5.02 chrF2 45.35 TER 84.00

5 Висновок

Поєднання морфологічно та синтаксично інформованих генераторів із нейронними двигунами може підвищити якість машинного перекладу щонайменше на третину, а також надати інженерам можливість вичищати запозичені слова та протидіяти іншим перешкодам, пов’язаним із домінуючою мовою, а також забезпечити дотримання стандартів, зокрема кодифікацій мов меншин. Скляні стелі якості, накладені недосконалостями, притаманними моделям штучного інтелекту, також можуть бути зруйновані за допомогою звукорежисури. Для лемківської мови, як і для інших малоресурсних мов корінних меншин, межею якості перекладу зараз є небо, а революції у сфері відродження – просто за горизонтом.

Подяки

Я хотів би подякувати доктору Мінгу Цяню з Charles River Analytics за натхнення провести цей експеримент, Майклу Десербо з Raytheon BBN Technologies та доктору Джеймсу Джошуа Пеннінгтону за їхні глибокі зауваження, а також доктору Іву Шерреру з Університету Гельсінкі за його інтерес до проекту та ідей.

Посилання

1. Бромхем Л., Діннейдж Р., Скіргорд Х. Рітчі А., Карділло М., Мікінс Ф., Грінхілл С., Хуа X.: Глобальні предиктори загрози зникнення мов та майбутнє мовного розмаїття. Nature Ecology & Evolution 6, 163-173 (2022). https://doi.org/10.1038/s41559-021-01604-y
2. Гонсалес, М., Аронсон, Б., Келлар, С., Воллс, М., Грінфілд, Б.: Мова як фасилітатор культурних зв’язків. ab-Original 1(2), 176-194 (2017). https://doi.org/10.5325/aboriginal.1.2.0176
3. Остер Р., Грієр А., Лайтнінг Р., Майя М., Тот Е.: Культурна спадкоємність, традиційна мова корінних народів і діабет у корінних народів Альберти: дослідження змішаних методів. Міжнародний журнал справедливості в охороні здоров’я 13, 92 (2014). https://doi.org/10.1186/s12939-014-0092-4
4. Культура, спадщина та дозвілля: розмовляючи мовами аборигенів та мешканців островів Торресової протоки. In: 4725.0 – Добробут аборигенів та мешканців островів Торресової протоки: У центрі уваги – діти та молодь. Австралійське бюро статистики (2011). https://www.abs.gov.au/ausstats/abs@.nsf/Latestproducts/1E6BE19175C1F8C3CA257A0600229ADC
5. Галлетт, Д., Чендлер, М., Лалонд, К.: Знання мови аборигенів та молодіжні самогубства. Когнітивний розвиток 22(3), 392-399 (2007). https://doi.org/10.1016/j.cogdev.2007.02.001
6. Whalen, D., Lewis, M., Gillson, S., McBeath, B., Alexander, B., Nyhan, K.: Вплив використання та відродження мов корінних народів на здоров „я: реалістичний огляд. Міжнародний журнал справедливості в охороні здоров“ я 21, 169 (2022). https://doi.org/10.1186/s12939-022-01782-6
7. Скродзька, М., Гансен, К., Олько, Я., Білевич, М.: Подвійна роль мови меншини в історичній травмі: Випадок лемківської меншини в Польщі. Журнал мовної та соціальної психології. 39(4) 551-566 (2020). https://doi.org/10.1177/0261927X20932629
8. Чжан С., Фрей Б., Бансал М.: ChrEn: Машинний переклад з мови черокі на англійську для відродження зникаючих мов. В кн: Матеріали конференції 2020 року з емпіричних методів в обробці природної мови (EMNLP), с. 577-595. Асоціація комп’ютерної лінгвістики, онлайн (2020). http://dx.doi.org/10.18653/v1/2020.emnlp-main.43
9. Duć-Fajfer, O.: Literatura a proces rozwoju i rewitalizacja tożsamości językowej na przykładzie literatury łemkowskiej. In: Олько, Я., Вічеркевич, Т., Борхес, Р. (ред.) Інтегральні стратегії відродження мови, 1-е вид., с. 175-200. Факультет „Artes Liberales“, Варшавський університет, Варшава (2016). https://culturalcontinuity.al.uw.edu.pl/resource/integral-strategies-for-language-revitalization/
10. Шевельов, Г.: Історична фонологія української мови (український переклад). Вакуленко, С., Даниленко, А. (пер.), Ушкалов, Л. (ред.). Наукове видавництво „АКТА“, Харків (2002, оригінальна праця опублікована 1979). http://irbis-nbuv.gov.ua/ulib/item/UKR0001641
11. Rieger, J.: Stanovysko i zrižnycjuvanja „rusynskŷx“ dialektiv v Karpatax (in Rusyn). In: Magosci, P. (ed.) Najnowsze dzieje języków słowiańskich. Русинська мова, с. 39-66. 2nd edn. Опольський університет – Інститут польської філології, Ополе (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
12. Ванько, Я.: Класифікація та основні знання карпатських русинських діалектів (русинською мовою). In: Magosci, P. (ed.) Najnowsze dzieje języków słowiańskich. Русинська мова, с. 67-84. 2nd edn. Опольський університет – Інститут польської філології, Ополе (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
13. Ванько, Я.: Русинська мова в Словаччині: між молотом і ковадлом. В: Дюшен, А. (ред.) Міжнародний журнал соціології мови, т. 2007, № 183, с. 75-96. Walter de Gruyter GmbH, Берлін (2007). https://doi.org/10.1515/IJSL.2007.005
14. Сополига, М.: Do pytanʹ etničnoï identifikaciï ta sučasnyx etničnyx procesiv ukraïnciv Prjašivščyny. In: Скрипник, Г. (ред.) Українці-росіяни: етнонаціональні та етнокультурні процеси в історичному розвитку, с. 454-487. Національна академія наук України, Національна асоціація українознавців, Інститут мистецтвознавства, фольклористики та етнології ім. М. Т. Рильського, Київ (2013). http://irbis-nbuv.gov.ua/ulib/item/UKR0001502
15. Оринич, П.: Скажи це правильно: Нейронний машинний переклад AI дає можливість новим ораторам відродити лемківську мову. In: Деген, Х., Нтоа, С. (ред.) Штучний інтелект в HCI. HCII 2022. Конспект лекцій з інформатики, том 13336, с. 567-580. Спрінгер, Чам (2022). https://doi.org/10.1007/978-3-031-05643-7_37
16. Оринич, П., Добрий, Т., Джексон, А., Літценберг, К.: Yes I Speak… Нейронний машинний переклад ШІ у багатомовному навчанні. В кн: Матеріали Міжвідомчої/галузевої конференції з навчання, моделювання та освіти (I/ITSEC) 2021, Paper no. 21176. Національна асоціація навчання та моделювання, Орландо (2021). https://www.xcdsystem.com/iitsec/proceedings/index.cfm?Year=2021&AbID=96953&CID=862
17. Шеррер, Ю., Рабус, А.: Нейронне морфосинтаксичне тегування для русинської мови. In: Мітков, Р., Тайт, Я., Богураєв, Б. (ред.) Інженерія природної мови, vol. 25, no. 5, pp. 633-650. Cambridge University Press, Кембридж (2019). https://doi.org/10.1017/S1351324919000287
18. Horoszczak, J.: Słownik łemkowsko-polski, polsko-łemkowski (польською мовою). Рутеніка, Варшава (2004).
19. Пиртей, П.: Короткий словник лемківських говірок. Сіверя М.В., Івано-Франківськ (2004).
20. Дуда, І.: Лемківський словник. Астон, Тернопіль (2011).
21. Rieger, J.: Słownictwo i nazewnictwo łemkowskie (польською мовою). Wydawnictwo naukowe Semper, Варшава (1995).
22. Фонтанський, Г., Хом’як, М.: Граматика лемківської мови (польською мовою). Wydawnictwo Naukowe “Śląsk”, Katowice (2000).
23. Pyrtej, P.: Dialekt łemkowski. Фонетика і морфологія (польською мовою). Хойсак, В. (ред.). Zjednoczenie Łemków, Gorlice (2013).
24. Пост, М.: Заклик до ясності у звітності за шкалою BLEU. In: Матеріали Третьої конференції з машинного перекладу (WMT), т. 1, с. 186-191. Асоціація комп’ютерної лінгвістики, Брюссель (2018). https://doi.org/10.48550/arXiv.1804.08771
25. Папінені, К., Рукос, С., Уорд, Т., Вей-Цзин, З.: BLEU: метод автоматичного оцінювання машинного перекладу. В.: BLEU: метод автоматичного оцінювання машинного перекладу: Матеріали 40-ї щорічної зустрічі Асоціації комп „ютерної лінгвістики (ACL 02), с. 311-318. Асоціація комп“ ютерної лінгвістики, Філадельфія (2002). https://doi.org/10.3115/1073083.1073135
26. Сновер, М., Дорр, Б., Шварц, Р., Міччулла, Л., Махул, Я.: Дослідження швидкості редагування перекладу з цільовою людською анотацією. В кн: Матеріали 7-ї конференції Асоціації машинного перекладу в Америці: Технічні доповіді, с. 223-231. Асоціація машинного перекладу в Америці, Кембридж (2006). https://aclanthology.org/2006.amta-papers.25
27. Попович, М.: chrF: символьна n-грамова F- оцінка для автоматичного оцінювання МТ. В кн: Матеріали Десятого семінару зі статистичного машинного перекладу, с. 392-395. Асоціація комп’ютерної лінгвістики, Лісабон (2015). http://dx.doi.org/10.18653/v1/W15-3049