BLEUкитне небо для відродження зникаючих мов: Точність нейронного ШІ перекладу лемківьскої мови та української злітає (2023)

Анотація

Прискорення глобальної втрати мов, пов’язане з підвищеною частотою вживання заборонених речовин, діабету 2 типу, запійного пияцтва та нападів, а також у шість разів вищим рівнем самогубств серед молоді, створює зростаючу проблему для меншин, корінних народів, біженців, колонізованих та іммігрантських спільнот. У середовищах, де часто порушується міжпоколінна передача, системи нейронного машинного перекладу на основі штучного інтелекту мають потенціал відродити мови спадщини та надати можливості новим мовцям розуміти і бути зрозумілими через миттєвий переклад. Проте рішення на основі штучного інтелекту створюють проблеми, такі як заборонна вартість та проблеми з якістю результатів. Рішенням є поєднання нейронних двигунів з класичними, заснованими на правилах, які дозволяють інженерам очистити запозичені слова та нейтралізувати втручання домінуючих мов. Ця робота описує модернізацію двигуна, розгорнутого на LemkoTran.com, щоб забезпечити переклад з та на лемківську мову, серйозно загрожену мову меншини української генетичної класифікації, корінну для прикордонних територій між Польщею та Словаччиною (де її також називають русинською). Модулі перекладу на основі словника були оснащені морфологічно та синтаксично інформованими генераторами іменників, дієслів та прикметників, що працюють на основі 877 лем разом із 708 записами глосарію, і вся система була закріплена 9 518 автоматичними тестами контролю якості з посиланням на кодифікацію. Результатом цієї роботи є покращення на 23% якості перекладу англійською мовою порівняно з останньою публікацією та збільшення на 35% якості перекладу з англійської на лемківську, що забезпечує переклади, які перевершують кожну службу Google Translate за всіма показниками та оцінюються на 396% вище, ніж українська служба Google при перекладі на лемківську.

Прошу цитувати як:

Orynycz, P. (2023). BLEUкитне небо для відродження зникаючих мов: Точність нейронного ШІ перекладу лемківьскої мови та української злітає. У: Degen, H., Ntoa, S. (ред.) Artificial Intelligence in HCI. HCII 2023. Лекційні нотатки з комп’ютерних наук(), том 14051. Springer, Cham. https://doi.org/10.1007/978-3-031-35894-4_10

✅ Ця версія внеску була прийнята до публікації після рецензування, але не є офіційною версією запису і не відображає покращення після прийняття або будь-які виправлення. Офіційна версія запису доступна онлайн за адресою https://doi.org/10.1007/978-3-031-35894-4_10. Використання цієї прийнятої версії підпорядковується умовам використання прийнятого рукопису видавця: https://www.springernature.com/gp/open-research/policies/accepted-manuscript-terms.

1 Вступ

1.1 Проблема

Мови зникають зі швидкістю щонайменше одна на календарний квартал, причому таке зникнення має потроїтися до 2062 року та збільшитися в п’ять разів до 2100 року, що торкнеться понад 1500 мовних спільнот [1, с. 163 та 169]. Такі наслідки пов’язані з підвищеною частотою вживання заборонених речовин [2, с. 179], діабету 2 типу [3], запійного пияцтва та нападів [4], а також у шість разів вищим рівнем самогубств серед молоді, коли менше половини членів спільноти володіють мовою [5].

Нещодавнє дослідження в Сполучених Штатах виявило, що використання мов корінних народів має позитивний вплив на здоров’я, незалежно від рівня володіння [6]. Експеримент над мовцями в Польщі виявив, що використання лемківської мови зменшує емоційні, поведінкові та депресивні симптоми, що виникають через когнітивну доступність травми [7].

Машинний переклад на основі штучного інтелекту міг би допомогти поширити згадані захисні ефекти на носіїв мови спадщини шляхом відродження вмираючих та сплячих мов [8, с. 577]. Наприклад, нові мовці могли б миттєво створювати правильний текст і користуватися розумінням прочитаного за допомогою автоматичних пристроїв машинного перекладу як допоміжного засобу до досягнення повної, незалежної вільності мовлення.

1.2 Досліджувана система

Мова

лемківська – це визначено серйозно загрожена [9, с. 177-178] східнослов’янська мова південно-західної української генетичної класифікації [10, с. 52; 11, с. 39], корінна для прикордонних територій між Республікою Польща та Словацькою Республікою; деякі називають її русинською [11, с. 39; 12].

Східні межі

Унікальна ізоглоса, що відрізняє лемківську на сході, – це фіксований парокситонічний (передостанній склад) наголос, особливість, спільна з польськими та східнословацькими діалектами [10, с. 161-162 та 972-973; 11, с. 50; 13, с. 70-73], що визначає її поширення у Східній Словаччині принаймні до річки Лаборець, з перехідною зоною після неї [13, с. 70; 11, с. 50]. Тим часом у Польщі історичне поширення лемківської сягає принаймні річок Ославиця або Віслок, з перехідною зоною за ними [11, с. 50].

Західні межі

Історичні західні межі лемківської – це річки Попрад і Дунаєць [14, с. 459].

Місцевість

Родові села носіїв мови, чиї інтерв’ю складають корпус, знаходяться в межах сучасних адміністративних кордонів сьогоднішнього Малопольського воєводства, столицею якого є Краків.

Назва лемківська	Транслітерація	Польська назва	Повітовий центр	Центр гміни
Ізби	Ізбы	Ізби	Горлиці	Устя-Горлицьке
Ґладишів	Ґладишів	Ґладишів	Горлиці	Устя-Горлицьке
Чорне	Чорне	Чарне	Горлиці	Сенкова
Долге	Долге	Длуґє	Горлиці	Сенкова
Більцарева	Більцарева	Бінчарова	Новий Сонч	Грибів
Флоринка	Флоринка	Флоринка	Новий Сонч	Грибів
Чирна	Чирна	Чирна	Новий Сонч	Криниця-Здруй

2 Сучасний стан

Минулого року були опубліковані перші у світі результати оцінки якості машинного перекладу на лемківську: BLEU 6,28, що майже втричі перевищує показник української служби Google Translate[1] (BLEU 2,17) [15, с. 570]. Роком раніше ми з колегами опублікували та представили перші у світі результати машинного перекладу з лемківської на англійську: BLEU 14,57 [16].

---

[1] Розкриття інформації: я працюю як оплачуваний спеціаліст з контролю якості перекладів українською, польською та російською мовами для проекту Google Translate. Штаб-квартира мого клієнта знаходиться в Сан-Франциско, Каліфорнія.

Двигун було розгорнуто і зроблено вільно доступним за універсальним локатором ресурсу https://www.LemkoTran.com, де двигун транслітерації працює з осені 2017 року. На двигун перекладу вперше натякнули в друкованому вигляді доктори Шеррер і Рабус у журналі Кембриджського університету Natural Language Engineering у 2019 році [17].

3 Матеріали та методи

3.1 Матеріали

Експеримент проводився на двомовному корпусі, що складався з лемківських кириличних транскриптів та англійських перекладів інтерв’ю з тими, хто вижив, та дітьми примусових переселень з ancestральних земель у Польщі. Транскрипти та їх переклади[1] були вирівняні по 3 267 сегментах, при цьому Microsoft Word надав підрахунок 68 944 слів лемківського джерела та 81 188 слів англійського перекладу.

---

[1] Мене найняв Фонд Джона і Гелен Тімо з Вілмінгтона, штат Делавер, для створення транскриптів та їх перекладу, після чого вони передали результати роботи для моїх наукових досліджень та розробок.

Джерелами істини були словники Ярослава Горощака [18], Петра Пиртея [19], Ігоря Дуди [20] та Януша Рігера [21], а також граматики Генрика Фонтанського та Мирослави Хом’як [22] і Петра Пиртея [23].

3.2 Методи

Вдосконалення двигуна

Для цього експерименту двигун, розгорнутий на LemkoTran.com, був оснащений новозбудованими генераторами, що враховують частину мови, граматичний відмінок та число для створення граматично та синтаксично правильних перекладів для 1 585 словникових записів, приблизно половина з яких не відмінюється в польській або лемківській мові, що дозволяє просту заміну.

Тести контролю якості

Якість забезпечувалася 9 518 тестами, перехресно посиланими, коли це можливо, з лемківськими кодифікаціями, граматиками та словниками, переліченими вище в розділі Матеріали. Самі тести підтверджують, що система перекладає дані висловлювання бажаним чином.

Опис	Кількість
Основа іменника	414
Основа дієслова	296
Основа прикметника	167
Займенник, особовий	87
Займенник, інший	178
Числівник	86
Інші словникові записи	357
Всього	1,585

Машинний переклад на основі правил (RMBT)

Тексту надавався лемківський або польський вигляд шляхом заміни послідовностей символів, особливо закінчень відмінювання.

Польська послідовність	Лемківська послідовність	Позиція
увати	увати	Кінцева
ями	ями	Кінцева
ають	ають	Кінцева
же	жо	Початкова
під	під	Початкова

Оцінка якості перекладу

Якість перекладу вимірювалася за стандартними галузевими показниками з використанням стандартних налаштувань інструменту SacreBLEU, винайденого в Amazon Research Меттом Постом [24]. Для порівнянності польська мова була передана лемківською кирилицею так само, як у попередньому експерименті [15, с. 573].

Двомовна оцінка дослідження (BLEU)

Ця метрика на основі n-грам користується широкою популярністю протягом десятиліть. Вона була розроблена в Сполучених Штатах у Дослідницькому центрі IBM T. J. Watson за підтримки Агентства передових оборонних дослідницьких проектів (DARPA) та під наглядом Командування космічних та морських систем США (SPAWAR) [25].

Рівень редагування перекладу (TER)

Ця метрика відображає кількість правок, необхідних для того, щоб вихідний текст семантично наблизився до правильного перекладу, прагнучи бути більш толерантною до фразових зсувів, ніж BLEU та інші метрики на основі n-грам. Вона визначається шляхом ділення розрахунку відстані редагування між гіпотезою та еталоном на середню кількість слів еталону. Її розробка в Сполучених Штатах також підтримувалася DARPA [26].

F-оцінка символьних n-грам (chrF)

Ця європейська метрика показала дуже хорошу кореляцію з людськими оцінками і навіть перевершила як BLEU, так і TER [27].

4 Результати та обговорення

Експериментальна система LemkoTran.com перевершила кожну службу Google Translate за кожним показником. Якість перекладу з англійської на лемківську за показником BLEU покращилася на 35% порівняно з останніми опублікованими результатами [15], даючи результати в чотири рази кращі, ніж наступна найкраща пропозиція Google Translate, його українська служба. Тим часом якість перекладу з лемківської на англійську покращилася на 23% порівняно з останніми опублікованими результатами [16], досягнувши показників BLEU на 16% вищих, ніж найкращі результати Google Translate, який автоматично розпізнавав лемківську як українську у 76% випадків, як російську у 16% випадків і як білоруську у 6% випадків.

4.1 Якість перекладу з англійської на лемківську

Оцінки

Двигун, розгорнутий на LemkoTran.com, перевершив Google Translate за кожним показником при перекладі з англійської на лемківську. Наступною за показниками системою в експерименті був або результат української служби Google Translate (за метриками BLEU або chrF), або його польської служби (за метрикою TER).

BLEU

Якість перекладу системи, розгорнутої на LemkoTran.com, виміряна найпоширенішою метрикою BLEU, зросла до 8,48, що на 35% краще за результати, опубліковані в 2022 році [15], і тепер у чотири рази перевищує найвищий показник Google Translate.

chrF

Двигун LemkoTran.com досяг найкращого показника F-оцінки символьних n-грам (chrF 37,30) для перекладу з англійської на лемківську, що на 37% вище, ніж наступний найкращий результат української служби Google Translate. Тим часом російська служба Google Translate показала кращі результати, ніж її польський та білоруський аналоги, коли вимірювалася відносно лемківського корпусу за цією метрикою.

TER

Двигун LemkoTran.com досяг найкращого показника швидкості редагування перекладу (TER) з англійської на лемківську, набравши 81,33. Польська служба Google Translate посіла друге місце, за нею тісно слідувала українська.

Зразки

Нижче наведено результати систем перекладу при введенні англійською мовою.

Ввід		Наші діти теж були розумними. Але де вони мали навчатися?
Опис		Вихід	Транслітерація	Оцінки якості
Лемківський еталон (носій мови)		У нас діти теж були розумні, але де вони мали вчитися?	У нас діти теж були розумні, але де вони мали вчитися?	BLEU 100 chrF2 100 TER 0
Переклад на лемківську LemkoTran.com		Наші діти теж були розумні, але де вони мали вчитися?	Наші діти теж були розумні, але де вони мали вчитися?	BLEU 58,34 chrF2 79,03 TER 27,27
Google Translate (контрольний)	Переклад українською	Наші діти теж були розумними. Але де вони мали вчитися?	Наші діти теж були розумними. Але де вони мали вчитися?	BLEU 4,41 chrF2 25,80 TER 72,73
	Переклад російською	Наші діти теж були розумними. Але де їм було вчитися?	Наші діти теж були розумними. Але де їм було вчитися?	BLEU 3,71 chrF2 16,95 TER 90,91
	Переклад польською	Наші діти теж були розумні. Але де вони мали вчитися?	Наші діти теж були розумні. Але де вони мали вчитися?	BLEU 3,12 chrF2 13,84 TER 100
	Переклад білоруською	Розумними були і наші діти. Але де вони мали вчитися?	Розумними були і наші діти. Але де вони мали вчитися?	BLEU 3,09 chrF2 12,83 TER 100

Ввід		І загалом кажучи, лемки в Польщі не мають лідера, так би мовити, який би щось сказав.
Опис		Продукт	Транслітерація	Оцінки якості
Лемківський еталон (носій мови)		А взагалі лемки в Польщі не мають такого, як би сказати, такого лідера, який би щось сказав.	А взагалі лемки в Польщі не мають такого, як би сказати, такого лідера, який би щось сказав.	BLEU 100 chrF2 100 TER 0
Переклад на лемківську LemkoTran.com		І загалом лемки в Польщі не мають лідера, як би сказати, який би щось сказав.	І загалом лемки в Польщі не мають лідера, як би сказати, який би щось сказав.	BLEU 55,58 chrF2 65,32 TER 29,41
Google Translate (контрольний)	Переклад польською	І загалом лемки в Польщі не мають лідера, як би сказати, який би щось сказав.	І загалом лемки в Польщі не мають лідера, як би сказати, який би щось сказав.	BLEU 9,26 chrF2 29,29 TER 82,35
	Переклад українською	І взагалі, лемки в Польщі не мають лідера, так би мовити, який би щось сказав.	I vzahali, lemky v Pol’shchi ne mayut’ lidera, tak by movyty, yakyj by shchos’ skazav.	BLEU 5,15 chrF2 26,56 TER 82,35
	Переклад російською	І взагалі, у лемків у Польщі немає, так би мовити, лідера, який би щось сказав.	І взагалі, у лемків у Польщі немає, так би мовити, лідера, який би щось сказав.	BLEU 2,96 chrF2 25,87 TER 88,24
	Переклад білоруською	І взагалі лемки в Польщі не мають лідера, так би мовити, який би щось сказав.	І взагалі лемки в Польщі не мають лідера, так би мовити, який би щось сказав.	BLEU 2,72 chrF2 18,05 TER 94,12

Переклад з лемківської на англійську

Оцінки

За кожним показником двигун, розгорнутий на LemkoTran.com, перевершив Google Translate, для якого переклад як з стандартної української мови завжди був другим найкращим, потім йшло автоматичне визначення мови джерела, потім переклад як з білоруської, а потім польської, з російською завжди на останньому місці. Google Translate розпізнавав лемківську як українську у 76% випадків, як російську у 16% випадків, як білоруську у 6% випадків і як різні мови, що використовують кириличні алфавіти (наприклад, монгольську) в решті випадків.

BLEU

LemkoTran.com отримав оцінку BLEU 17,95 при перекладі англійською мовою, що на 23% краще за останні опубліковані результати BLEU 14,57, і на 16% вище за оцінку української служби Google Translate BLEU 15,43.

chrF

Система, розгорнута на LemoTran.com, досягла оцінки символьних n-грам (chrF) 45,89 при перекладі англійською мовою, що на 5% краще за оцінку української служби Google Translate.

TER

LemkoTran.com отримав показник Translation Edit Rate (TER) 70,38 при перекладі англійською мовою, що на 7% краще за оцінку української служби Google Translate.

Зразки

Нижче наведено результати систем перекладу при введенні англійською мовою.

	Опис	Продукт	Показники якості
Вхідна транскрипція лемківської мови від носія мови		Якщо розділяємо мови, то я мала контакт з польською, то не було так, що я пішла до школи без польської, бо ми мали сусідів поляків.	н/д
Транслітерація		Якщо розділяємо мови, то я мала контакт з польською, то не було так, що я пішла до школи без польської, бо ми мали сусідів поляків.	н/д
Еталонний переклад професійного перекладача-білінгва		Коли йдеться про розділення мов, я мала контакт з польською. Не було так, що я почала школу без знання польської, бо у нас були польські сусіди.	BLEU 100 chrF2 100 TER 0
Переклад з лемківської системою LemkoTran.com		Коли ми розділяємо мови, я мала контакт з польською, не було так, що я пішла до школи без польської, бо у нас були польські сусіди.	BLEU 45.84 chrF2 69.60 TER 32.00
Google Translate (контрольний)	з української (автоматично визначено з впевненістю 92%)	Коли ми розділяємо мови, то я мала контакт з польською, тоді не було так, що я пішла до школи без польської, бо у мене були сусіди поляки.	BLEU 15.87 chrF2 54.38 TER 72.00
	з білоруської	Коли ми розділяємо мови, то я мала мало контакту з польською, тоді не було так, але я пішла до школи без польської, бо у нас було мало польських сусідів.	BLEU 11.76 chrF2 58.92 TER 68.00
	з російської	As we spread languages, then there was little contact with Polish, then it wasn’t like that, but I went to school without Polish, for the snakes were sucid in Polyakiv.	BLEU 6.87 chrF2 42.66 TER 92.00
	з польської	Коли я поширюю мову, я маю мало контакту з польською мовою, не було так, що я пішла до школи без польської, бо я зміню свою малу польську мову.	BLEU 5.02 chrF2 45.35 TER 84.00

5 Висновок

Поєднання морфологічно та синтаксично інформованих генераторів з нейронними двигунами може покращити якість машинного перекладу щонайменше на третину, маючи також побічну перевагу надання інженерам можливості очищати запозичені слова та протидіяти іншому втручанню домінуючої мови, а також забезпечувати відповідність стандартам, таким як кодифікації мов меншин. Обмеження якісних показників, накладені недосконалостями, властивими моделям штучного інтелекту, також можуть бути подолані завдяки надійній інженерії. Для лемківської мови, як і для інших малоресурсних, корінних мов меншин, небо тепер є межею для якості перекладу, а також революцій відродження, що знаходяться за горизонтом.

Подяки

Я хотів би подякувати д-ру Мінг Цянь з Charles River Analytics за натхнення провести цей експеримент, Майклу Десербо з Raytheon BBN Technologies та д-ру Джеймсу Джошуа Пеннінгтону за їхні проникливі зауваження, а також д-ру Іву Шерреру з Гельсінського університету за його зацікавленість у проекті та ідеї.

Список літератури

1. Bromham, L., Dinnage, R., Skirgård, H. Ritchie, A., Cardillo, M., Meakins, F., Greenhill, S., Hua, X.: Global predictors of language endangerment and the future of linguistic diversity. Nature Ecology & Evolution 6, 163–173 (2022). https://doi.org/10.1038/s41559-021-01604-y
2. Gonzalez, M., Aronson, B., Kellar, S., Walls, M., Greenfield, B.: Мова як фасилітатор культурного зв’язку. ab-Original 1(2), 176–194 (2017). https://doi.org/10.5325/aboriginal.1.2.0176
3. Oster, R., Grier, A., Lightning, R., Mayan, M., Toth, E.: Культурна безперервність, традиційна корінна мова та діабет у перших націях Альберти: дослідження змішаними методами. International Journal for Equity in Health 13, 92 (2014). https://doi.org/10.1186/s12939-014-0092-4
4. Культура, спадщина та дозвілля: розмова мовами аборигенів та жителів островів Торресової протоки. У: 4725.0 – Добробут аборигенів та жителів островів Торресової протоки: фокус на дітях та молоді. Австралійське бюро статистики (2011). https://www.abs.gov.au/ausstats/abs@.nsf/Latestproducts/1E6BE19175C1F8C3CA257A0600229ADC
5. Hallett, D., Chandler, M., Lalonde, C.: Знання мови аборигенів та самогубства серед молоді. Cognitive Development 22(3), 392–399 (2007). https://doi.org/10.1016/j.cogdev.2007.02.001
6. Whalen, D., Lewis, M., Gillson, S., McBeath, B., Alexander, B., Nyhan, K.: Вплив використання та відродження корінних мов на здоров’я: реалістичний огляд. International Journal for Equity in Health 21, 169 (2022). https://doi.org/10.1186/s12939-022-01782-6
7. Skrodzka, M., Hansen, K., Olko, J., Bilewicz, M.: Подвійна роль мови меншини в історичній травмі: Випадок лемківської меншини в Польщі. Journal of Language and Social Psychology. 39(4) 551–566 (2020). https://doi.org/10.1177/0261927X20932629
8. Zhang, S., Frey, B., Bansal, M.: ChrEn: Машинний переклад з черокі на англійську для відродження мови, що зникає. У: Матеріали конференції 2020 року з емпіричних методів у обробці природної мови (EMNLP), стор. 577–595. Асоціація комп’ютерної лінгвістики, онлайн (2020). http://dx.doi.org/10.18653/v1/2020.emnlp-main.43
9. Duć-Fajfer, O.: Literatura a proces rozwoju i rewitalizacja tożsamości językowej na przykładzie literatury łemkowskiej (польською мовою). У: Olko, J., Wicherkiewicz, T., Borges, R. (ред.) Інтегральні стратегії відродження мови, 1-е вид., стор. 175–200. Факультет “Artes Liberales”, Варшавський університет, Варшава (2016). https://culturalcontinuity.al.uw.edu.pl/resource/integral-strategies-for-language-revitalization/
10. Шевельов, Ю.: Історична фонологія української мови (український переклад). Вакуленко, С., Даниленко, А. (перекл.), Ушкалов, Л. (ред.). Наукове видавництво “АКТА”, Харків (2002, оригінальна робота опублікована 1979). http://irbis-nbuv.gov.ua/ulib/item/UKR0001641
11. Rieger, J.: Stanovysko i zrižnycjuvanja “rusynskŷx” dialektiv v Karpatax (русинською мовою). У: Magosci, P. (ред.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, стор. 39–66. 2-е вид. Університет Ополе — Інститут польської філології, Ополе (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
12. Vaňko, J.: Klasifikacija i holovnŷ znakŷ Karpatʹskŷx Rusynʹskŷx dialektiv (русинською мовою). У: Magosci, P. (ред.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, стор. 67–84. 2-е вид. Університет Ополе — Інститут польської філології, Ополе (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
13. Vaňko, J.: Русинська мова в Словаччині: між молотом і ковадлом. У: Duchêne, A. (ред.) International Journal of the Sociology of Language, т. 2007, № 183, стор. 75–96. Walter de Gruyter GmbH, Берлін (2007). https://doi.org/10.1515/IJSL.2007.005
14. Sopolyha, M.: Do pytanʹ etničnoï identyfikaciï ta sučasnyx etničnyx procesiv ukraïnciv Prjašivščyny (українською мовою). У: Skrypnyk, H. (ред.) Ukraïnci-rusyny: etnolʹinhvistyčni ta etnokulʹturni procesy v istoryčnomu rozvytku, стор. 454–487. Національна академія наук України, Національна асоціація українознавства, Інститут мистецтвознавства, фольклористики та етнології ім. М. Т. Рильського, Київ (2013). http://irbis-nbuv.gov.ua/ulib/item/UKR0001502
15. Оринич, П.: Скажи як треба: Нейронний машинний переклад на основі ШІ надає можливості новим мовцям відроджувати лемківську мову. У: Degen, H., Ntoa, S. (ред.) Artificial Intelligence in HCI. HCII 2022. Lecture Notes in Computer Science, том 13336, с. 567–580. Springer, Cham (2022). https://doi.org/10.1007/978-3-031-05643-7_37
16. Orynycz, P., Dobry, T., Jackson, A., Litzenberg, K.: Так, я розмовляю… Нейронний машинний переклад на основі ШІ в багатомовному навчанні. У: Матеріали Міжвідомчої/Промислової конференції з навчання, моделювання та освіти (I/ITSEC) 2021, Стаття № 21176. Національна асоціація навчання та моделювання, Орландо (2021). https://www.xcdsystem.com/iitsec/proceedings/index.cfm?Year=2021&AbID=96953&CID=862
17. Scherrer, Y., Rabus, A.: Нейронне морфосинтаксичне тегування для русинської мови. У: Mitkov, R., Tait, J., Boguraev, B. (ред.) Natural Language Engineering, т. 25, № 5, стор. 633–650. Cambridge University Press, Кембридж (2019). https://doi.org/10.1017/S1351324919000287
18. Horoszczak, J.: Słownik łemkowsko-polski, polsko-łemkowski (польською мовою). Rutenika, Warsaw (2004).
19. Pyrtej, P.: Korotkyj slovnyk lemkivsʹkyx hovirok (українською мовою). Siversiya MV, Ivano-Frankivsk (2004).
20. Duda, I.: Lemkivsʹkyj slovnyk (українською мовою). Aston, Ternopil (2011).
21. Rieger, J.: Słownictwo i nazewnictwo łemkowskie (польською мовою). Wydawnictwo naukowe Semper, Warsaw (1995).
22. Fontański, H., Chomiak, M.: Граматика лемківської мови (польською мовою). Видавництво Наукове “Шльонск”, Катовіце (2000).
23. Pyrtej, P.: Dialekt łemkowski. Fonetyka i morfologia (польською мовою). Hojsak, W. (ed.). Zjednoczenie Łemków, Gorlice (2013).
24. Post, M.: Заклик до ясності у звітуванні показників BLEU. У: Матеріали Третьої конференції з машинного перекладу (WMT), т. 1, стор. 186–191. Асоціація комп’ютерної лінгвістики, Брюссель (2018). https://doi.org/10.48550/arXiv.1804.08771
25. Papineni, K., Roukos, S., Ward, T., Wei-Jing, Z.: BLEU: метод автоматичної оцінки машинного перекладу. У: Матеріали 40-ї щорічної зустрічі Асоціації комп’ютерної лінгвістики (ACL 02), стор. 311–318. Асоціація комп’ютерної лінгвістики, Філадельфія (2002). https://doi.org/10.3115/1073083.1073135
26. Snover, M., Dorr, B., Schwartz, R., Micciulla, L., Makhoul, J.: Дослідження показника редагування перекладу з цільовою анотацією людиною. У: Матеріали 7-ї конференції Асоціації машинного перекладу в Америці: Технічні статті, стор. 223–231. Асоціація машинного перекладу в Америці, Кембридж (2006). https://aclanthology.org/2006.amta-papers.25
27. Popović, M.: chrF: F-міра символьних n-грам для автоматичної оцінки машинного перекладу. У: Матеріали Десятого семінару зі статистичного машинного перекладу, стор. 392–395. Асоціація комп’ютерної лінгвістики, Лісабон (2015). http://dx.doi.org/10.18653/v1/W15-3049