BLEU kilátások a veszélyeztetett nyelvek revitalizációjához: lemkó-ruszin és ukrán neurális AI fordítási pontosság szárnyal (2023)

Absztrakt

A globális nyelvvesztés felgyorsulása, amely az illegális szerhasználat, a 2-es típusú cukorbetegség, a mértéktelen alkoholfogyasztás és a támadások fokozott előfordulásával, valamint hatszor magasabb ifjúsági öngyilkossági rátával jár, egyre nagyobb kihívást jelent a kisebbségi, őslakos, menekült, gyarmatosított és bevándorló közösségek számára. Azokban a környezetekben, ahol a generációk közötti átadás gyakran megszakad, a mesterséges intelligencia neurális gépi fordítórendszerek képesek revitalizálni az örökségi nyelveket és felhatalmazni az új beszélőket azáltal, hogy lehetővé teszik számukra az azonnali fordítás révén történő megértést és megértetést. A mesterséges intelligencia megoldások azonban problémákat vetnek fel, mint például a tiltó költségek és a kimeneti minőségi problémák. A megoldás az, hogy a neurális motorokat klasszikus, szabályalapú motorokkal párosítjuk, amelyek lehetővé teszik a mérnökök számára, hogy megtisztítsák a jövevényszavakat és semlegesítsék a domináns nyelvek interferenciáját. Ez a munka leírja a LemkoTran.com-on telepített motor átalakítását, hogy lehetővé tegye a fordítást a lemkó nyelvre és nyelvről, amely egy súlyosan veszélyeztetett, kisebbségi ukrán genetikai besorolású nyelv, amely Lengyelország és Szlovákia határvidékén őshonos (ahol ruszin néven is emlegetik). A szótáralapú fordítási modulokat morfológiailag és szintaktikailag informált főnév-, ige- és melléknévgenerátorokkal szerelték fel, amelyeket 877 lemma és 708 szószedeti bejegyzés táplált, és az egész rendszert 9518 automatikus, kodifikációra hivatkozó, kötelezően átmenő minőségellenőrzési teszttel szegecselték. Ennek a munkának az eredménye 23%-os javulás az angolra fordítás minőségében az utolsó publikáció óta, és 35%-os minőségi növekedés az angolról lemkóra fordításban, olyan fordításokat biztosítva, amelyek minden Google Translate szolgáltatást felülmúlnak minden mérőszám szerint, és 396%-kal magasabb pontszámot érnek el, mint a Google ukrán szolgáltatása, amikor lemkóra fordítanak.

@incollection{orynycz2023bleu,
  author    = {Petro Orynycz},
  title     = {BLEU Skies for Endangered Language Revitalization: Lemko Rusyn and Ukrainian Neural AI Translation Accuracy Soars},
  booktitle = {Artificial Intelligence in HCI},
  series    = {Lecture Notes in Computer Science},
  volume    = {14051},
  publisher = {Springer},
  address   = {Cham},
  year      = {2023},
  doi       = {10.1007/978-3-031-35894-4_10}
}

✅ A hozzájárulás ezen verzióját szakértői értékelés után elfogadták publikálásra, de nem ez a végleges kiadott verzió (Version of Record), és nem tükrözi az elfogadás utáni fejlesztéseket vagy javításokat. A végleges kiadott verzió (Version of Record) online elérhető a https://doi.org/10.1007/978-3-031-35894-4_10 címen. Az elfogadott verzió (Accepted Version) használatára a kiadó elfogadott kézirat felhasználási feltételei vonatkoznak: https://www.springernature.com/gp/open-research/policies/accepted-manuscript-terms.

1 Bevezetés

1.1 A probléma

A nyelvek legalább negyedévente egy nyelvet elveszítve tűnnek el, és ez a veszteség 2062-re megháromszorozódik, 2100-ra pedig ötszörösére nő, több mint 1500 beszélő közösséget érintve [1, 163. és 169. o.]. Ezek az eredmények összefüggésben állnak az illegális szerhasználat [2, 179. o.], a 2-es típusú cukorbetegség [3], a mértéktelen alkoholfogyasztás és a támadások [4] megnövekedett előfordulásával, valamint hatszor magasabb ifjúsági öngyilkossági arányokkal, ha a közösség tagjainak kevesebb mint fele rendelkezik nyelvtudással [5].

Egy friss amerikai tanulmány kimutatta, hogy az őslakos nyelvek használata pozitív hatással van az egészségre, függetlenül a nyelvtudás szintjétől [6]. Egy lengyelországi kísérlet kimutatta, hogy a lemkó nyelv használata mérsékli a trauma kognitív elérhetőségéből eredő érzelmi, viselkedési és depressziós tüneteket [7].

A mesterséges intelligencia gépi fordítás segíthet az említett védőhatások terjesztésében az örökölt nyelvek beszélői körében, a haldokló és alvó nyelvek újjáélesztésével [8, 577. o.]. Például az új beszélők azonnal helyes szöveget állíthatnak elő, és élvezhetik az olvasás megértését automatikus gépi fordítóeszközök segítségével, amíg el nem érik a teljes, független folyékonyságot.

1.2 Vizsgált rendszer

Nyelv

A lemkó egy határozottan súlyosan veszélyeztetett [9, 177–178. o.] kelet-szláv nyelvjárás, amely délnyugat-ukrán genetikai besorolású [10, 52. o.; 11, 39. o.], és a Lengyel Köztársaság és a Szlovák Köztársaság közötti határvidéken őshonos; egyesek ruszin néven is emlegetik [11, 39. o.; 12].

Keleti határok

A lemkót keletre megkülönböztető egyedi izoglossza a rögzített paroxiton (utolsó előtti szótag) hangsúly, amely a lengyel és a kelet-szlovák nyelvjárásokkal közös jellemző [10, 161–162. és 972–973. o.; 11, 50. o.; 13, 70–73. o.], így kiterjedése Kelet-Szlovákiában legalább a Laborc folyóig terjed, utána átmeneti zónával [13, 70. o.; 11, 50. o.]. Eközben Lengyelországban a lemkó történelmi kiterjedése legalább az Osławica vagy a Wisłok folyókig ér, azon túl átmeneti zónával [11, 50. o.].

Nyugati határok

A lemkó történelmi nyugati határai a Poprád és a Dunajec folyók [14, 459. o.].

Elhelyezkedés

Az anyanyelvi beszélők ősi falvai, akiknek interjúi alkotják a korpuszt, a mai Kis-Lengyelország tartomány jelenlegi közigazgatási határain belül találhatók, amelynek fővárosa Krakkó.

2 A technológia állása

Tavaly publikálták a világ első minőségi értékelési eredményeit a lemkó gépi fordításokra vonatkozóan: BLEU 6.28, ami közel háromszorosa volt a Google Translate ukrán szolgáltatásának[1] (BLEU 2.17) [15, 570. o.]. Az előző évben kollégáimmal publikáltuk és bemutattuk a világ első eredményeit a lemkó-angol gépi fordításra vonatkozóan: BLEU 14.57 [16].

[1] Nyilatkozat: Fizetett ukrán, lengyel és orosz fordítási minőségellenőrzési specialistaként dolgozom a Google Fordító projektben. Ügyfelem székhelye San Franciscóban, Kaliforniában található.

A motor telepítésre került, és ingyenesen elérhetővé vált az univerzális erőforrás-azonosítón https://www.LemkoTran.com, ahol egy átírási motor működik 2017 őszétől. A fordítómotorra először Dr. Scherrer és Dr. Rabus hivatkozott nyomtatásban a Cambridge University Press Natural Language Engineering című folyóiratában 2019-ben [17].

3 Anyagok és módszerek

3.1 Anyagok

A kísérletet egy kétnyelvű korpuszon végezték, amely lemkó cirill átiratokat és angol fordításokat tartalmazott a Lengyelországban őshonos földekről erőszakkal áttelepített túlélőkkel és gyermekeikkel készített interjúkból. Az átiratokat és fordításaikat[1] 3267 szegmensben igazították egymáshoz, a Microsoft Word szerint a lemkó forrásszavak száma 68 944, az angol célszavak száma pedig 81 188 volt.

[1] A John és Helen Timo Alapítvány, Wilmington, Delaware, bízott meg az átiratok elkészítésével és lefordításával, akik ezután a munkatermékeket tudományos kutatási és fejlesztési törekvéseimhez adományozták.

Az igazság forrásai közé tartoztak Jarosław Horoszczak [18], Petro Pyrtej [19], Ihor Duda [20] és Janusz Rieger [21] szótárai, valamint Henryk Fontański és Mirosława Chomiak [22], valamint Petro Pyrtej [23] nyelvtanai.

3.2 Módszerek

Motorfrissítések

Ehhez a kísérlethez a LemkoTran.com-on telepített motort újonnan épített generátorokkal szerelték fel, amelyek a szófaj, a nyelvtani eset és a szám alapján készültek, azzal a céllal, hogy nyelvtanilag és szintaktikailag megfelelő fordításokat készítsenek 1585 szótári bejegyzéshez, amelyeknek körülbelül fele nem ragozódik lengyelül vagy lemkóul, lehetővé téve az egyszerű helyettesítést.

Minőségbiztosítási tesztek

A minőséget 9518 teszt biztosította, amelyeket lehetőség szerint összevetettek a fentebb, az Anyagok alatt felsorolt lemkó kodifikációkkal, nyelvtani szabályokkal és szótárakkal. Maguk a tesztek azt állítják, hogy a rendszer a megadott mondatokat a kívánt módon fordítja.

Szabályalapú gépi fordítás (RMBT)

A szöveg lemkó vagy lengyel hangulatot kapott a karaktersorozatok, és különösen a ragozási végződések cseréjével.

Fordítási minőség pontozása

A fordítási minőséget ipari szabványok szerinti mérőszámokkal mérték a SacreBLEU eszköz alapértelmezett beállításait használva, amelyet Matt Post talált fel az Amazon Researchnél [24]. Az összehasonlíthatóság kedvéért a lengyel nyelvet lemkó cirill betűkkel adták vissza, ugyanúgy, mint az utolsó kísérletben [15, 573. o.].

Kétnyelvű értékelési tanulmány (BLEU)

Ez az n-gram alapú metrika évtizedek óta széles körben elterjedt. Az Egyesült Államokban fejlesztették ki az IBM T. J. Watson Kutatóközpontban, a Védelmi Fejlett Kutatási Projektek Ügynökségének (DARPA) támogatásával és az Egyesült Államok Űr- és Haditengerészeti Hadviselési Rendszerek Parancsnokságának (SPAWAR) felügyeletével [25].

Fordítási szerkesztési arány (TER)

Ez a metrika a kimenet szemantikailag helyes fordításhoz való közelítéséhez szükséges szerkesztések számát tükrözi, célja, hogy toleránsabb legyen a kifejezésbeli eltolódásokkal szemben, mint a BLEU és más n-gram alapú metrikák. Meghatározása egy hipotézis és egy referencia közötti szerkesztési távolság számításának elosztásával történik az átlagos referencia szószámával. Fejlesztését az Egyesült Államokban szintén a DARPA támogatta [26].

Karakter n-gram F-pontszám (chrF)

Ez az európai metrika bizonyítottan nagyon jól korrelál az emberi ítéletekkel, és még a BLEU-t és a TER-t is felülmúlja [27].

4 Eredmények és megbeszélés

A kísérleti rendszer, a LemkoTran.com, minden mérőszám szerint felülmúlta a Google Translate összes szolgáltatását. Az angol-lemkó fordítás BLEU minőségi pontszámai 35%-kal javultak az utoljára publikált eredményekhez képest [15], négyszer jobb eredményt produkálva, mint a Google Translate következő legjobb ajánlata, az ukrán szolgáltatása. Eközben a lemkó-angol fordítás minősége 23%-kal javult az utoljára publikált eredmények óta [16], 16%-kal magasabb BLEU pontszámot érve el, mint a Google Translate által elért legjobb, amely az esetek 76%-ában automatikusan ukránként, 16%-ában oroszként, és 6%-ában fehéroroszként ismerte fel a lemkót.

4.1 Angol-lemkó fordítási minőség

Pontszámok

A LemkoTran.com-on telepített motor minden mérőszám szerint felülmúlta a Google Translate-et, amikor angolról lemkóra fordított. A kísérletben a következő legmagasabb pontszámot elérő rendszer vagy a Google Translate ukrán szolgáltatásának kimenete volt (a BLEU vagy chrF metrikák használatával), vagy a lengyel szolgáltatásáé (a TER metrika használatával).

BLEU

A LemkoTran.com-on telepített rendszer fordítási minősége, a legelterjedtebb BLEU metrika szerint mérve, 8,48-ra emelkedett, ami 35%-os javulást jelent a 2022-ben utoljára publikált eredményekhez képest [15], és most négyszerese a Google Fordító legmagasabb pontszámának.

chrF

A LemkoTran.com motorja érte el a legjobb angol-lemkó karakter n-gram F-pontszámot (chrF 37.30), ami 37%-kal magasabb, mint a következő legjobb, a Google Translate ukrán szolgáltatása. Eközben a Google Translate orosz szolgáltatása magasabb pontszámot ért el, mint a lengyel és fehérorosz megfelelői, amikor a lemkó korpuszhoz viszonyítva mérték ezt a metrikát.

TER

A LemkoTran.com motorja érte el a legjobb angol-lemkó fordítási szerkesztési arányt (TER), 81.33 pontszámmal. A Google Translate lengyel szolgáltatása érte el a második legjobb eredményt, szorosan követve az ukrán szolgáltatását.

Példák

Az angol bemenetre adott fordítórendszerek kimenete az alábbiakban található.

Lemkó-angol fordítás

Pontszámok

Minden mérőszám szerint a LemkoTran.com-on telepített motor felülmúlta a Google Translate-et, amelynél a standard ukrán nyelvről történő fordítás mindig a második legjobb volt, ezt követte a forrásnyelv automatikus felismerése, majd a fehéroroszról, aztán a lengyelről történő fordítás, az orosz pedig mindig az utolsó helyen végzett. A Google Translate az esetek 76%-ában ukránként, 16%-ában oroszként, 6%-ában fehéroroszként, a fennmaradó időben pedig egyéb cirill betűs nyelvekként (pl. mongol) ismerte fel a lemkót.

BLEU

A LemkoTran.com 17,95 BLEU pontszámot ért el angolra fordítva, ami 23%-os javulás az utoljára publikált 14,57 BLEU pontszámhoz képest, és 16%-kal magasabb, mint a Google Fordító ukrán szolgáltatásának 15,43 BLEU pontszáma.

chrF

A LemoTran.com-on telepített motor 45,89 karakteres n-gram f-pontszámot (chrF) ért el angolra fordítva, ami 5%-kal jobb volt, mint a Google Fordító ukrán szolgáltatásának pontszáma.

TER

A LemkoTran.com 70,38 Translation Edit Rate (TER) pontszámot ért el angolra fordítva, ami 7%-kal jobb volt, mint a Google Fordító ukrán szolgáltatásának pontszáma.

Példák

Az angol bemenetre adott fordítórendszerek kimenete az alábbiakban található.

5. Összefoglalás

A morfológiailag és szintaktikailag informált generátorok neurális motorokkal való párosítása legalább egyharmaddal javíthatja a gépi fordítás minőségét, miközben azzal az előnnyel is jár, hogy a mérnökök megtisztíthatják a jövevényszavakat és ellensúlyozhatják a domináns nyelvi interferenciát, valamint biztosíthatják a szabványoknak való megfelelést, például a kisebbségi nyelvek kodifikációit. A mesterséges intelligencia modellekben rejlő tökéletlenségek által okozott minőségi pontszám-üvegplafonok is áttörhetők a megfelelő mérnöki munkával. A lemkó, valamint a hasonlóan alacsony erőforrású, őslakos kisebbségi nyelvek esetében a fordítási minőség, valamint a revitalizációs forradalmak tekintetében most már a határ a csillagos ég.

Köszönetnyilvánítás

Szeretném megköszönni Dr. Ming Qiannek (Charles River Analytics) a kísérlet elvégzéséhez nyújtott inspirációt, Michael Decerbónak (Raytheon BBN Technologies) és Dr. James Joshua Penningtonnak az éleslátó megjegyzéseiket, valamint Dr. Yves Scherrernek (Helsinki Egyetem) a projekt iránti érdeklődését és ötleteit.

Hivatkozások

1. Bromham, L., Dinnage, R., Skirgård, H. Ritchie, A., Cardillo, M., Meakins, F., Greenhill, S., Hua, X.: Global predictors of language endangerment and the future of linguistic diversity. Nature Ecology & Evolution 6, 163–173 (2022). https://doi.org/10.1038/s41559-021-01604-y
2. Gonzalez, M., Aronson, B., Kellar, S., Walls, M., Greenfield, B.: Language as a Facilitator of Cultural Connection. ab-Original 1(2), 176–194 (2017). https://doi.org/10.5325/aboriginal.1.2.0176
3. Oster, R., Grier, A., Lightning, R., Mayan, M., Toth, E.: Cultural continuity, traditional Indigenous language, and diabetes in Alberta First Nations: a mixed methods study. International Journal for Equity in Health 13, 92 (2014). https://doi.org/10.1186/s12939-014-0092-4
4. Kultúra, örökség és szabadidő: Aboriginal és Torres Strait Islander nyelvek beszélése. In: 4725.0 – Aboriginal és Torres Strait Islander jólét: Fókuszban a gyermekek és fiatalok. Australian Bureau of Statistics (2011). https://www.abs.gov.au/ausstats/abs@.nsf/Latestproducts/1E6BE19175C1F8C3CA257A0600229ADC
5. Hallett, D., Chandler, M., Lalonde, C.: Aboriginal language knowledge and youth suicide. Cognitive Development 22(3), 392–399 (2007). https://doi.org/10.1016/j.cogdev.2007.02.001
6. Whalen, D., Lewis, M., Gillson, S., McBeath, B., Alexander, B., Nyhan, K.: Health effects of Indigenous language use and revitalization: a realist review. International Journal for Equity in Health 21, 169 (2022). https://doi.org/10.1186/s12939-022-01782-6
7. Skrodzka, M., Hansen, K., Olko, J., Bilewicz, M.: A kisebbségi nyelv kettős szerepe a történelmi traumában: A lemkó kisebbség esete Lengyelországban. Journal of Language and Social Psychology. 39(4) 551–566 (2020). https://doi.org/10.1177/0261927X20932629
8. Zhang, S., Frey, B., Bansal, M.: ChrEn: Cherokee-angol gépi fordítás a veszélyeztetett nyelvek revitalizációjához. In: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 577–595. o. Association for Computational Linguistics, Online (2020). http://dx.doi.org/10.18653/v1/2020.emnlp-main.43
9. Duć-Fajfer, O.: Literatura a proces rozwoju i rewitalizacja tożsamości językowej na przykładzie literatury łemkowskiej (lengyelül). In: Olko, J., Wicherkiewicz, T., Borges, R. (szerk.) Integral Strategies for Language Revitalization, 1. kiadás, 175–200. o. Faculty of “Artes Liberales”, University of Warsaw, Varsó (2016). https://culturalcontinuity.al.uw.edu.pl/resource/integral-strategies-for-language-revitalization/
10. Shevelov, G.: A Historical Phonology of the Ukrainian Language (ukrán fordítás). Vakulenko, S., Danylenko, A. (trans.), Ushkalov, L. (ed.). Naukove vydavnyctvo “AKTA”, Kharkiv (2002, original work published 1979). http://irbis-nbuv.gov.ua/ulib/item/UKR0001641
11. Rieger, J.: Stanovysko i zrižnycjuvanja „rusynskŷx” dialektiv v Karpatax (ruszinul). In: Magosci, P. (szerk.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, 39–66. o. 2. kiadás. Uniwersytet Opolski — Instytut Filologii Polskiej, Opole (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
12. Vaňko, J.: Klasifikacija i holovnŷ znakŷ Karpatʹskŷx Rusynʹskŷx dialektiv (ruszinul). In: Magosci, P. (szerk.) Najnowsze dzieje języków słowiańskich. Rusynʹskŷj jazŷk, 67–84. o. 2. kiadás. Uniwersytet Opolski — Instytut Filologii Polskiej, Opole (2007). https://www.unipo.sk/cjknm/hlavne-sekcie/urjk/vedecko-vyskumna-cinnost/publikacie/26405/
13. Vaňko, J.: A ruszin nyelv Szlovákiában: két tűz között. In: Duchêne, A. (szerk.) International Journal of the Sociology of Language, 2007. kötet, 183. szám, 75–96. o. Walter de Gruyter GmbH, Berlin (2007). https://doi.org/10.1515/IJSL.2007.005
14. Sopolyha, M.: Do pytanʹ etničnoï identyfikaciï ta sučasnyx etničnyx procesiv ukraïnciv Prjašivščyny (ukránul). In: Skrypnyk, H. (szerk.) Ukraïnci-rusyny: etnolʹinhvistyčni ta etnokulʹturni procesy v istoryčnomu rozvytku, 454–487. o. National Academy of Sciences of Ukraine, National Association of Ukrainian Studies, Rylsky Institute of Art Studies, Folklore and Ethnology, Kijev (2013). http://irbis-nbuv.gov.ua/ulib/item/UKR0001502
15. Orynycz, P.: Mondd jól: Az AI neurális gépi fordítás felhatalmazza az új beszélőket a lemkó revitalizálására. In: Degen, H., Ntoa, S. (szerk.) Artificial Intelligence in HCI. HCII 2022. Lecture Notes in Computer Science, 13336. kötet, 567–580. o. Springer, Cham (2022). https://doi.org/10.1007/978-3-031-05643-7_37
16. Orynycz, P., Dobry, T., Jackson, A., Litzenberg, K.: Igen, beszélek… AI neurális gépi fordítás többnyelvű képzésben. In: Proceedings of the Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC) 2021, 21176. számú cikk. National Training and Simulation Association, Orlando (2021). https://www.xcdsystem.com/iitsec/proceedings/index.cfm?Year=2021&AbID=96953&CID=862
17. Scherrer, Y., Rabus, A.: Neurális morfoszintaktikai címkézés ruszin nyelvre. In: Mitkov, R., Tait, J., Boguraev, B. (szerk.) Natural Language Engineering, 25. kötet, 5. szám, 633–650. o. Cambridge University Press, Cambridge (2019). https://doi.org/10.1017/S1351324919000287
18. Horoszczak, J.: Słownik łemkowsko-polski, polsko-łemkowski (lengyelül). Rutenika, Warsaw (2004).
19. Pyrtej, P.: Korotkyj slovnyk lemkivsʹkyx hovirok (ukránul). Siversiya MV, Ivano-Frankivsk (2004).
20. Duda, I.: Lemkivsʹkyj slovnyk (ukránul). Aston, Ternopil (2011).
21. Rieger, J.: Słownictwo i nazewnictwo łemkowskie (lengyelül). Wydawnictwo naukowe Semper, Warsaw (1995).
22. Fontański, H., Chomiak, M.: Gramatyka języka łemkowskiego (lengyelül). Wydawnictwo Naukowe „Śląsk”, Katowice (2000).
23. Pyrtej, P.: Dialekt łemkowski. Fonetyka i morfologia (lengyelül). Hojsak, W. (ed.). Zjednoczenie Łemków, Gorlice (2013).
24. Post, M.: Felhívás a BLEU pontszámok jelentésének egyértelműségére. In: Proceedings of the Third Conference on Machine Translation (WMT), 1. kötet, 186–191. o. Association for Computational Linguistics, Brüsszel (2018). https://doi.org/10.48550/arXiv.1804.08771
25. Papineni, K., Roukos, S., Ward, T., Wei-Jing, Z.: BLEU: Módszer a gépi fordítás automatikus értékelésére. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 02), 311–318. o. Association for Computational Linguistics, Philadelphia (2002). https://doi.org/10.3115/1073083.1073135
26. Snover, M., Dorr, B., Schwartz, R., Micciulla, L., Makhoul, J.: A fordítási szerkesztési arány vizsgálata célzott emberi annotációval. In: Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, 223–231. o. Association for Machine Translation in the Americas, Cambridge (2006). https://aclanthology.org/2006.amta-papers.25
27. Popović, M.: chrF: karakter n-gram F-pontszám az automatikus MT értékeléshez. In: Proceedings of the Tenth Workshop on Statistical Machine Translation, 392–395. o. Association for Computational Linguistics, Lisszabon (2015). http://dx.doi.org/10.18653/v1/W15-3049