Itzulpen automatiko neuronal

Wikipedia, Entziklopedia askea
Jump to navigation Jump to search

Itzulpen automatiko neuronala (ingelesez: Neural Machine Translation, NMT) itzulpen automatikoa lantzeko planteamendu bat da. Neurona-sare handiak erabiltzen ditu hitz-sekuentzia batek duen agertzeko probabilitatea aurreikusteko, eta normalean esaldi osoak ere modelatzen ditu eredu integratu bakar batean. 

Itzulpen automatiko neuronal sakona aurrekoaren hedadura bat da. Biek erabiltzen dute neurona-sare handi bat baina itzulpen automatiko neuronal sakonak hainbat geruza prozesatzen ditu batera bakarka egin ordez.[1]

Ezaugarriak[aldatu | aldatu iturburu kodea]

Itzulpen automatiko estatistikoko ereduek behar duten memoria baino askoz txikiagoa izaten da neurona-itzultzaileen kasuan behar dena. Gainera, betiko itzulpen-sistemetan ez bezala, atal guztiak denak batera entrenatuta lortzen dira itzulpen-ereduak, itzulpenaren emaitzetan hobekutzak maximizatzeko.[2][3][4]

Historia[aldatu | aldatu iturburu kodea]

Ikasketa sakoneko lehenengo aplikazioak hizketa-ezagutza automatikoko sistemetan agertu ziren 1990eko hamarkadan. Itzulpen automatikoan teknika hau erabili zuen lehenengo argitalpen zientifikoa 2014ean agertu zen, eta hurrengo urteetan aurrerapauso handiak egin ziren (bokabulario handiko NMTa, irudien azalpenei aplikatzea, hitza baino unitate txikiagotan oinarritutako NMTa, NMT eleaniza, iturri anitzeko NMTa, karakterekako NMTa, baliabiderik gabeko NMTa, Google, karakterekako-NMT erabatekoa, Zero-Shot NMTa 2017an). 2015ean lehenengo aldiz agertu zen NMT sistema bat itzulpen automatikozko txapelketa batean (OpenMT’15). Urte berean WMT’15 txapelketan ere sartu zen NMT sistema bat eta hurrengo urtean txapeldunen %90a NMT sistemak izan ziren.[5]

Funtzionamendua[aldatu | aldatu iturburu kodea]

Hitzen esanahiak bektore moduan errepresentatzea izan da NMTren ekarpen handiena. Irudian euskarazko 500 hitzen bi dimentsiotako errepresentazioa.

Itzulpen automatiko neuronalaren abiapuntua azpiesalditan oinarritutako sistema estatistikoak izan ziren, non azpi-osagaiak bakoitza bere aldetik sortzen den, era independentean. Alde horretatik NMTa ez da izugarrizko aurrerapausoa, itzulpen automatiko estatistikoetako antolaketa normalean horrela ere egiten baitzen.[6] Neuronen bidezko hurbilpenaren aurrerapauso nagusia hitzak eta barne egoerak bektore-bidez errepresentatzea izan da ("embedding-ak", "etengabeko espazioko errepresentazioak"). Eredu horien egitura, azpi-esalditan oinarritutako eredu estatistikoen egitura baino sinpleagoa da. Hizkuntza-eredua, itzulpen-eredua eta berrordenatze-eredua ez dira azaltzen hiru eredu independente moduan, sekuentzia-eredu bakar bat baitago, aldi bakoitzean hitz bat iragartzen duena. Hala ere, hitzen iragarpen hori egiten denean iturburu-esaldi osoa kontuan hartzen da, baita jadanik ekoiztuta dagoen helburu-sekuentziaren zatia ere.[7]

NMT-ereduek ikasketa sakoneko eta errepresentazio-ikasketako kontzeptuak erabiltzen dituzte.

Hasieran, hitz-sekuentzien eredua Neurona-sare errekurrenteak (ingelesez: Recurrent Neural Network, RNN) baliatuta lortzen zen. Neurona-sareak neurona-sare errekurrente bidirekzional bat (kodetzailea) erabiltzen du iturburu-esaldi bat kodetzeko eta bigarren neurona-sare errekurrente bati pasatzeko, azken horrek gero helburu-hizkuntzako hitzak iragar ditzan.[8]

Printzipioz, Neurona-Sare Konboluzionalak (ingelesez: Convolutional Neural Networks, Convnet) hobeak dira sekuentzia luze jarraietarako, baina hasiera batean ez ziren erabiltzen ahuleziak zituztela-eta; hala ere, 2017an ahulezia horiek konpentsatu egin ziren arretan oinarritutako hurbilketak erabiliz.[9][10]

Erabileraren bilakaera[aldatu | aldatu iturburu kodea]

2016an MT sistema hoberenak neurona-sareak erabiltzen ari ziren. Google, Microsoft eta Yandex-en[11] itzulpen zerbitzuek NMT erabiltzen dute orain. Google-k Google Neural Machine Translation izeneko sistema erabiltzen du orain, lehen erabiltzen zuen metodo estatistikoetan oinarritutakoaren ordez.[12] Microsoft-ek antzeko teknologia erabiltzen du mintzamen-itzulpenetarako (horien artean Microsoft Translator Live eta Skype Translator aplikazioetan).[13] Hardvard NLP taldeak OpenNMT izena duen kode irekizko neurona-sare sistema bat argitaratu du.[14] Yandex itzultzaileak eredu hibrido bat dauka: haren itzulpenak modelo estatistiko bat eta neurona-sare bat ematen ditu; ondoren, CatBoost algoritmoak (ikasketa sakonean oinarritutakoa) lortutako emaitza onena aukeratuko du. Itzulpen automatikozko hornitzaileek neurona-sareen bidezko sistemak ere eskaintzen hasi dira, besteak beste hauek: Omniscien Technologies (lehen Asia Online)[15], Tilde[16], KantanMT[17], SDL[18], Globalese[19], TransPerfect eta Ixa Taldea. DeepL-ek itzulpen-sistema generiko bat eskaintzen du ikasketa sakoneko adimen artifizialezko sistemekin. Aldiz, Omniscien Technologies-ek Itzulpen automatiko neuronal sakona duten sistema pertsonalizatuak eskaintzen ditu (Deep NMT) eta Systrans-ek itzulpen automatiko neuronala ere eskaintzen du, neurona-sare sakonekin. Ixa Taldeak NMT demo bat eskaintzen du euskara eta espainiera hizkuntzen artean.[20] VicomTech eta Elhuyar fundazioarekin ikertzen ari da teknologia berri honetan.[21]

Erreferentziak[aldatu | aldatu iturburu kodea]

  1. (Ingelesez)  «Deep Neural Machine Translation - Omniscien Technologies», Omniscien Technologies, https://omniscien.com/deep-neural-machine-translation/. Noiz kontsultatua: 2018-02-27  .
  2.   Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V. (2014-09-10), «Sequence to Sequence Learning with Neural Networks», arXiv:1409.3215 [cs], http://arxiv.org/abs/1409.3215. Noiz kontsultatua: 2018-03-01  .
  3. Kalchbrenner, Nal; Blunsom, Philip (2013). "Recurrent Continuous Translation Models". Proceedings of the Association for Computational Linguistics.
  4.   Cho, Kyunghyun; van Merrienboer, Bart; Bahdanau, Dzmitry; Bengio, Yoshua (2014-09-03), «On the Properties of Neural Machine Translation: Encoder-Decoder Approaches», arXiv:1409.1259 [cs, stat], http://arxiv.org/abs/1409.1259. Noiz kontsultatua: 2018-03-01  .
  5. Bojar, Ondrej; Chatterjee, Rajen; Federmann, Christian; Graham, Yvette; Haddow, Barry; Huck, Matthias; Yepes, Antonio Jimeno; Koehn, Philipp; Logacheva, Varvara; Monz, Christof; Negri, Matteo; Névéol, Aurélie; Neves, Mariana; Popel, Martin; Post, Matt; Rubino, Raphael; Scarton, Carolina; Specia, Lucia; Turchi, Marco; Verspoor, Karin; Zampieri, Marcos (2016). "Findings of the 2016 Conference on Machine Translation" (PDF). ACL 2016 First Conference on Machine Translation (WMT16). The Association for Computational Linguistics: 131–198.
  6.   Wołk, Krzysztof; Marasek, Krzysztof, «Neural-based Machine Translation for Medical Text Domain. Based on European Medicines Agency Leaflet Texts», Procedia Computer Science (64): 2–9, doi:10.1016/j.procs.2015.08.456, https://doi.org/10.1016/j.procs.2015.08.456. Noiz kontsultatua: 2018-03-01  .
  7. (Ingelesez)  «The State of Neural Machine Translation (NMT) by Philipp Koehn - Omniscien Technologies», Omniscien Technologies, 2016-11-30, https://omniscien.com/state-neural-machine-translation-nmt/. Noiz kontsultatua: 2018-03-01  .
  8.   Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014-09-01), «Neural Machine Translation by Jointly Learning to Align and Translate», arXiv:1409.0473 [cs, stat], http://arxiv.org/abs/1409.0473. Noiz kontsultatua: 2018-03-01  .
  9.   Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014-09-01), «Neural Machine Translation by Jointly Learning to Align and Translate», arXiv:1409.0473 [cs, stat], http://arxiv.org/abs/1409.0473. Noiz kontsultatua: 2018-03-01  .
  10. (Ingelesez)  Coldewey, Devin, «DeepL schools other online translators with clever machine learning», TechCrunch, https://techcrunch.com/2017/08/29/deepl-schools-other-online-translators-with-clever-machine-learning/. Noiz kontsultatua: 2018-03-01  .
  11. (Ingelesez)  «Yandex — Company blog — One model is better than two. Yandex.Translate launches a hybrid machine translation system», Yandex, https://yandex.com/company/blog/one-model-is-better-than-two-yu-yandex-translate-launches-a-hybrid-machine-translation-system/. Noiz kontsultatua: 2018-03-01  .
  12. (Ingelesez)  Lewis-Kraus, Gideon (2016-12-14), «The Great A.I. Awakening», The New York Times, ISSN 0362-4331, https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html. Noiz kontsultatua: 2018-03-01  .
  13. (Ingelesez)  «Microsoft Translator launching Neural Network based translations for all its speech languages», Translator, https://blogs.msdn.microsoft.com/translation/2016/11/15/microsoft-translator-launching-neural-network-based-translations-for-all-its-speech-languages/. Noiz kontsultatua: 2018-03-01  .
  14. (Ingelesez)  «OpenNMT - Open-Source Neural Machine Translation», opennmt.net, http://opennmt.net/. Noiz kontsultatua: 2018-03-01  .
  15. (Ingelesez)  «Omniscien Technologies Announces Release of Language Studio with Next-Generation Neural Machine Translation Technology - Omniscien Technologies», Omniscien Technologies, 2017-04-21, https://omniscien.com/omniscien-technologies-announces-release-language-studio-next-generation-neural-machine-translation-technology/. Noiz kontsultatua: 2018-03-01  .
  16. (Ingelesez)  «MT Features: Neural Machine Translation | tilde.com», Machine Translation, https://tilde.com/products-and-services/machine-translation/features/neural-translation. Noiz kontsultatua: 2018-03-01  .
  17.   «KantanMT - Cloud-based Machine Translation Platform», KantanMT, https://www.kantanmt.com/displayarticle.php?id=WMA-kycAAP8GvykS&slug=kantanmt-users-can-now-customise-and-deploy-neural-machine-translation-engines. Noiz kontsultatua: 2018-03-01  .
  18. (Ingelesez)  «SDL Brings Neural Machine Translation to its Secure Enterprise Translation Server | SDL», SDL, http://www.sdl.com/about/news-media/press/2017/sdl-brings-nmt-to-its-secure-ets.html. Noiz kontsultatua: 2018-03-01  .
  19. (Ingelesez)  «Globalese 3.0 released - Globalese», Globalese, 2017-09-05, http://www.globalese-mt.com/2017/09/05/globalese-3-0-released/. Noiz kontsultatua: 2018-03-01  .
  20.   «NMT demoa (euskara-espainiera) | TAdeep proiektua», Ixa Taldea, 2017, http://ixa2.si.ehu.es/tadeep/eu/demo. Noiz kontsultatua: 2018-05-27  .
  21.   «Mintegia: Itzulpen automatikoko proiektuak, TADEEP eta MODELA (Gorka Labaka, 2018-03-27) | Hizkuntza-teknologiak», www.unibertsitatea.net, http://www.unibertsitatea.net/blogak/ixa/2018/03/27/mintegia-itzulpen-automatikoko-proiektuak-tadeep-eta-modela-gorka-labaka-2018-03-27/. Noiz kontsultatua: 2018-05-27  .