Morfologia konputazional

Euskarazko analisi morfologikoaren adibide bitxi batː "txikitxoagoak"

Morfologia konputazionala giza lengoaietako hitzen osaketa eta egitura ikertu eta aztertzeko informatikaz baliatzen den arloa da. Horretarako, lengoaia naturaleko hitzak modu logikoan modelatzen saiatzen da, ikuspegi konputazional batetik beti ere. Modelaketa hori ez da soilik hizkuntzalaritzarena den morfologia atalean burutzen, morfologia konputazionalean hizkuntzalari, informatikari, psikologo eta logikako adituek ere parte hartu dezaketelarik.

Morfologiaren ikuspuntutik hitzen oinarrizko osagaiak morfemak dira. adibidez: etxera = etxe+ra, garbitzailearekin = garbi+tzaile+ arekin. Horretan bi motako morfemak bereizten dira: batetik lemak edo morfema askeak, adibidez: etxe, joan, lirain...; eta bestetik, hizkiak edo afixuak (aurrizki, artizki eta atzizkiak), adibidez: aurre-, -arekin, -tzaile... Atzikien artean bereizten dira deklinabide-atzizkiak (-arekin, -tik, -etaraino...) eta eratorpen-atzizkiak (-tzaile, -gailu...).

Hizkuntza guztiek ez dute berdin jokatzen morfologia mailan, hitzak osatzeko moduak asko aldatzen daitezke hizkuntza batetik beste batera. Euskarazko hitzen morfologia oso aberatsa dela esan daiteke inguruko hizkuntzekin konparatuz gero. Hizkuntzaren prozesamenduan euskara landu ahal izateko funtsezkoa izan da morfologia, baina hori ez da gertatu teknologia horretan alde handiz aitzindaria izan den ingeles hizkuntza aztertzerakoan. Europa mailan finlandiera eta hungariera ere oso aberatsak dira morfologikoki, eta hizkuntza horiek lantzeko tresnak erabilgarri izan dira euskara lantzeko ere.

Morfeus analizatzaile morfologikoaren emaitza esaldi honetako hitz bakoitzaren analisi guztiak erakusteko: "Amagoiaren lagunak Galizian egiten du lan"

40 urtetan euskararako egindako lan konputazional desberdinak bi eremu hauen arabera eraiki dira: batetik teknologiaren bilakaera eta izaeran, eta bestetik, hortik eratorritako aplikazioetan. Teknologiari dagokionez, ezagutza linguistikoan oinarritutako ereduak ohikoak eta nagusi (izan) dira morfologian, baina hurbilpen estatistikoan, eta, batez ere, ikasketa sakonean oinarritutakoak ugalduz joan dira azken urteotan, horietako asko datuak eta gramatikak eskuragarri ez dituzten hizkuntzetarako (edo dialektoetarako). Aplikazioei dagokienez, ezagunena eta erabiliena zuzentzaile ortografikoa da, baina irakaskuntzarekin, itzulpen automatikoarekin edo bertsogintzarekin lotutakoak ere aipagarriak dira.

Euskararen azterketa morfo-konputazionala

Morfologia konputazionala liburua (UEU, 2002)

1988 urtean Ixa taldea sortu zenean, erabaki estrategiko garrantzitsua izan zen euskararen morfologiaren tratamenduari lehentasuna ematea. Lanari ekin ziotenean gazteak eta berriak ziren arloan, orduko konputagailuak oso oinarrizkoak ziren, baliabideak urri, nazioarteko zientzia kontsultatzeko aukerak, zailak; baina bazuten urteekin baloratzen ikasi zuten altxor bat: euskara batuaren definizio finkatu samarra, eta bere barruan haientzat ezinbestekoak ziren bi osagai: lexikoa eta morfologia. Horrez gain, arauari jarraitzen zioten testuak eta lankidetzarako prest zegoen komunitate zabal bat. Hori gabe nekez lortuko zuten hurrengo urteetan lortu zutena, Xuxen zuzentzaile ortografikoa edo artearen egoeran dagoen itzultzaile automatikoa, esaterako.

Ixa taldeak, sorreratik, estrategia bat definitu zuen euskararen prozesaketa automatikoa modu iraunkorrean garatu ahal izateko, eta estrategia horren barruan lexikoak eta morfologiak erabateko lehentasuna zuten. Estrategiaren puntu nagusiak hauek ziren:

• Hasieran oinarrizko baliabide eta tresna sendoak sortu behar dira.
• Lexiko-morfologia-sintaxia-semantika progresioa aplikatu behar da.
• Formatu estandarrak erabili behar dira.
• Ahal den guztietan saiatu behar da software librea erabiltzen eta sortzen.

Euskal morfologiaren modelizazioa

Horrela, bada, lexikoari eta morfologiari ekin zioten. Euskara batuaren lexikoa eta gramatika aztertuta, lexikoaren datu-basea osatzera jo zuten eta morfologia modelizatzeko formalismo baten bila hasi ziren, euskal morfologia konputazionalki landu ahal izateko.

Euskara hizkuntza eranskaria da

Eredu baten bila, arloko antzeko lanak bilatzen hasi eta ageriko kontu batekin egin zuten topo, alegia, ikerketa gehiena ingeleserako egiten zela eta ingeleserako aplikatzen ziren tresnak ez zirela egokiak euskara bezalako hizkuntza eranskari bati aplikatzeko. Eranskaria izanda, ingelesak baino morfologia aberatsagoa du euskarak. Hizkuntzen tipologia morfologikoaren inguruko sailkapenetik dator eranskari terminoa, morfemen fusioaren edo uztartze mailako irizpidea aplikatuta. Horrela, hizkuntza eranskarietako hitzen morfemek esanahi bakarra dute, bakoitzak bat, eta ez dago fusiorik, latinean topatzen ahal dugun moduan, non morfo bakarrak morfema bati baino gehiagori egiten baitio erreferentzia. Espero izatekoa da, beraz, hizkuntza eranskarietan morfema kopuru altuagoa hitzeko, beste hizkuntza malgukariekin edo flexiboekin konparatuta. Are gehiago, hizkuntzen sailkapen morfologikorako tipologian erabiltzen den beste irizpidea aplikatuta, hots, sintesiarena. Irizpide honi jarraituz, kontuan hartzen da hitz batek dituen morfema kopurua. Sailkapen honetan daude hizkuntza analitikoak, isolatzaileak ere deituak, morfema bakarrekoak, eta beste muturrean, polisintetikoak, hiru morfema baino gehiago dituztenak hitzeko. Tartean eranskariak daude. Hizkuntza bakartzaileen eredurik argiena txinera da eta ingelesa ere bai, neurri handi batean. Hala ere, sailkapen honetako kategoria hauek guztiak idealak direla, hizkuntza-tipologia puruei dagozkielako. Hizkuntzak, ordea, ez dira tipologikoki puruak, baina hurbiltzen dira ideal horietara. Hori dio, adibidez, Manterolak euskararen eranskaritasunari buruz, nahiz eta ikuspegi diakronikoa izan.

Euskararen morfologia aberatsa

Euskarazko analisi morfologikoaren adibide bitxi batː "dakidantxoa"

Gauzak horrela, behin informazio lexiko eta morfologikoa ordenagailuan txertatua izan zutenean erraza izan zitzaien frogatzea euskal morfologiaren aberastasuna. Eta frogatuta geratu zen euskararen aberastasun hori forma flexionatuak sortzeko duen ahalmen izugarrian dagoela. Aberastasun horren adibideak dira honako hauek: Hizkuntzalaritza Konputazionala 38 Gatozen orain euskarara edo edozein hizkuntza eranskaritara. Mendi adibidearekin jarraituz, mugatu/mugagabe marka erantsi behar diogu, artikulua alegia —mugatuetan—, eta horietako bakoitzari aldian aldiko kasua. Are gehiago, kasu bat baino gehiago har dezake genitiboak, esaterako, eta berriro mugatasuna eta kasua hartzeko prest egongo da. Horrela ad infinitum irits gaitezke teorian, praktikan birritan baino gehiago aplikatzea normala ez bada ere. Eta adjektiboei hiru gradu-marka erantsi behar diegu, horiek ere mugatasuna eta kasua har dezakete-eta, forma neutroaz gain.

• Izen-sarrera batetik abiatuz 135 forma flexionatu lor daitezke gutxienez. Horietako 77 determinazioa, numeroa eta deklinabide-kasua konbinatuz lortutako forma ez-emankorrak diren bitartean, gainerako beste 58ak forma emankorrak dira bi genitiboetako batez bukatutako forma sinple edo deklinatuak baitira. Genitiboen atzetik teorikoki hasierako emankortasun-ahalmen guztia dago, genitiboaren atzetik flexiorik agertzean elipsi bat dago eta. Elipsi bat baino gehiago posible izanik, atzizki-hartzea errekurtsiboa izan liteke, maila teorikoan behintzat (adibidez; etxekoarenarekin = etxeko+elipsi+aren+elipsi+arekin), eta ondorioz, emankortasun-ahalmena infinitua litzateke. Izan ere, elipsi bat baino gehiago agertzea ohizkoa ez bada ere oso arraro ez diren forma batzuek bi elipsi edo gehiago dute. Aurrekoaren ondorioz eta bi elipsi kontuan hartuz izen bati dagozkion forma flexionatuak honako hauek lirateke : 77 + 58 (77 + 58 (77 + 58)) = 458.683.
• Izen bakoitzeko horiek baino gehiago ezagutzeko eta sortzeko gai izan behar du euskararako prozesadore morfologiko batek.
• Emankortasun morfologiko hori adjektiboen kasuan are handiagoa da, gradu-flexioa dela-eta (zuri, zuriago, zurien...) lau aldiz handiagoa baita.

Izen arrunt bizigabeen euskal deklinabide-taula (Euskaltzaindia, 1993:518)

n	Kasua	Mugagabea	Mug. sing.	Mug. plur.	Plur. hurbila
1	Absolutiboa	mendi	mendia	mendiak	mendiok
2	Partitiboa	mendirik
3	Ergatiboa	mendik	mendiak	mendiek	mendiok
4	Datiboa	mendiri	mendiari	mendiei	mendioi
5	Inesiboa	menditan	mendian	mendietan	mendiotan
6	Leku-genitiboa	menditako	mendiko	mendietako	mendiotako
7	Adlatiboa	menditara(t)	mendira(t)	mendietara(t)	mendiotara(t)
8	Hurbiltze-adlatiboa	menditarantz	mendirantz	mendietarantz	mendiotarantz
9	Muga-adlatiboa	menditaraino	mendiraino	mendietaraino	mendiotaraino
10	Ablatiboa	menditatik, menditarik	menditik	mendietatik, mendietarik	mendiotatik, mendiotarik
11	Genitiboa	mendiren	mendiaren	mendien	mendion
12	Soziatiboa	mendirekin	mendiarekin	mendiekin	mendiokin
13	Instrumentala	mendiz	mendiaz	mendiez	mendioz
14	Motibatiboa	mendi(ren)gatik	mendia(ren)gatik	mendiengatik	mendiongatik,
15	Destinatiboa
	Gen. (gutxi erabilia)	mendirentzat	mendiarentzat	mendientzat	mendiontzat,
	Ines. (gutxi erabilia)	menditako	mendiko	mendietako	mendiotako
	Adlat. (gutxi erabilia)	menditarako	mendirako	mendietarako	mendiotarako
16	Banatzailea	mendiko
17	Prolatiboa	menditzat, menditako

Bi mailatako formalismoa egokia zen euskararentzat

Egoera honen aurrean 1990ean-edo ez zen erraza izan aurkitzea morfologia konplexu bati aurre egiteko gaitasuna izango lukeen formalismo bat.

Kimmo Koskenniemi

Zorionez, Lauri Karttunen eta Kimmo Koskenniemmi finlandiarrek proposamen interesgarriak eginak zituzten, eta bigarrengoaren tesian oinarritu ziren ikerlari euskaldunak deskribapen morfologikoaren osagaiak modelizatzeko eta prozesatzeko programak idazteko orduan.

Argitaratu zuten lehen artikuluan, Elhuyar aldizkari historikoan, formalismo horren ezaugarri nagusiak azaltzen ziren:

• Eredu orokorra da, edozein hizkuntzari aplika dakiokeena.
• Ezagutza linguistikoa eta algoritmoa bereizi egiten ditu eta, ondorioz, programa berak edozein hizkuntzatarako balio dezake.
• Baliagarria da hitzen analisi morfologikorako zein hitz-sorkuntzarako.
• Analizatu edo sortuko den hitzaren azaleko maila eta hiztegiko sisteman (sistema lexikoan) errepresentatzen den maila lexiko edo sakonekoa argi eta garbi bereizten ditu.

Mans Hulden eta Iñaki Alegria.

Programazioari dagokionez, zeuden bi inplementazioak zoritxarrez libreak ez zirenez, programa berri bat egin behar izan zuten C lengoaia erabilita (PCetan eraginkortasunez exekutatu ahal izateko). Programa hori 2022an martxan zegoen arren, bi inplementazio aurreratuago eskuratu zuten hurrengo hamarkadetan:

• Xerox enpresak lizentziatutakoa garai batean. Lauri Karttunen-ek garatutako programa.
• Foma aplikazioa: Mans Hulden-ek software librean sortutako azken urteotan. Software librearekin posible izan da baliabide urriko hizkuntza askotarako halako prozesadoreak garatzea (2022an 40tik gora ziren).

Ikuspuntu linguistikotik interesgarriena eta zailena formalismoaren osagaiak ondo definitzea izan zen. Osagai nagusiak bi hauek dira: sistema lexikoa eta erregela morfofonologikoak.

Sistema lexikoa

Sistema lexikoan morfema-multzoa definitzen da, morfemen artean egon daitezkeen kateamenduen arabera sailkapena eginez (morfotaktika edo paradigmak deitzen zaio atal horri). Definitutako azpilexiko horiez gain, lemen eta aurrizki/atzizkien sekuentzia posibleak arautzen dituzten jarraitze-klaseak ere definitzen dira, azpilexiko multzoak direnak.

Morfemak definitzean «bi mailak» definitu behar dira, azaleko forma (zakur, da zein Gasteiz lemak, edo -ri eta -la atzizkiak, esaterako), eta sakoneko forma informazio morfologikoarekin. Horrela -ri atzizkiari dagokion informazioa datibo mugagabea da, eta sakoneko informazioa Ri da. R hori marka bat da (bi motatakoak dira, morfofonema eta hautapen-markak; aipatu den kasuan, morfofonema da), adierazteko bokal ondoren r hori gauzatu behar dela, baina kontsonante ondoren ez. Adibidez, zakur leman azken r letra markatzen da (zakuR esaterako) r gogorra dela adierazteko, eta da formaren kasuan marka bat jartzen da amaieran adierazteko a hori e bihur daitekeela -la eta -n moduko atzizkien aurrean.

• Morfotaktika. Izen eta aditzekin osatu daitezkeen hitzak
• 
  Euskararen morfologiaren analisirako osagaien eskema.
• 
  Izen arrunten morfotaktika. Zer aurrizki eta atzizkirekin osa dezake hitz bat izen arrunt batek?
• 
  Aditz nagusien morfotaktika. Zer aurrizki eta atzizkirekin osa dezake hitz bat aditz nagusi batek?
• 
  Morfologia lantzeko kategoria nagusiak.

Erregela morfofonologikoak

Euskarak 1995ean zuen egoera deskribatzen zuen artikulua. Euskaldunon Egunkarian Luistxo Fernandezek argitaratua.

Transformazio morfofonologikoen eraginez sakoneko eta azaleko mailen artean sortzen diren diferentziak adierazteko erregelak erabiltzen dira. Erregela horiek automata edo transduktore bihurtzen dira, normalean konpiladore baten bitartez (hasiera hartan eskuz egiten zuten). Konpiladorearen arabera aldatzen dira erregelak idaztean erabiltzen diren sinboloak (espresio erregularretatik gertu, beti), eta r-aren kasuan, adibide sinplifikatu bat emanez, hauexek lirateke aipatutako Foma konpiladorerako erregelak:

r -> r r || _ «+» Bokal ; # R gogorra bikoizten da bokal aurrean

Adibidea: zakuR+a -> zakurra

r -> r || «+» _ Bokal; # R mugagabeko marka r da bokal aurrean

Adibidea: ume+Ri -> umeri

Garapen hura talde-lana izan zen, lan handia eta emankorra, hainbat argitalpen, batzuk nazioartekoak, eta bi tesi sortu baitziren, aipatutako Iñaki Alegriarena eta Miriam Urkiarena. 60.000 sarrera baino gehiago sartu ziren datu-basean (Euskararen Datu-Base Lexikala, EDBL) eta hogeita hamar bat erregela konplexu sortu ziren. Urteetan zehar deskribapena, lexikoa batez ere, aberastuz eta arau berrietara egokituz joan da, eta euskararen prozesaketarako oinarrizko elementua izaten jarraitzen du. Gainera, taldeko hurrengo tesietarako eta aplikazioetarako oinarri garrantzitsua izan zen. Adibidez, Itziar Adurizek, hizkuntzaren aldetik eta Nerea Ezeizak, alde informatikotik, beren tesietan (2000 eta 2002, hurrenez hurren), urrats bat gehiago eman zuten anbiguotasun morfosintaktikoa ebatzi ahal izateko, hitzak analizatu ondoren analisi posibleen artean erabakitzeko (adibidez, zuen hitz forma ea aditz laguntzailea edo izenordaina den erabakitzeko).

Bestalde, aukera izan zuten aholkulari gisa aritu eta, beste hizkuntzetako prozesadore morfologikoetako garapenean laguntzeko, morfologia konplexuko eta baliabide urriko hizkuntzetan batez ere. Zehazki, bi mailatako morfologia edota Foma honako hizkuntza hauetan baliatu dute: kitxua, aimara, guaraniera, nahuatl eta maputxe.

Morfologia konputazionalaren aplikazioak

Analizatzaile morfologiko izenarekin jende gutxik irudikatzen du zenbat aplikazio sor daitezkeen. Baina oinarri horrekin oso tresna interesgarriak gara daitezke, batez ere aukeratutako formalismoarekin, non analisiaz gain sorkuntza ere lor baitaiteke. Asko dira oinarri horretatik egin diren erabilpenak. Hona hemen horietako batzuk:

• Zuzenketa ortografikoa: hitz batek analisia badu zuzentzailearen hiztegiaren parte da, bestela ez (eta azpimarratzen da). Proposamenak sortzeko modulu bat gehitu behar da, eta horretarako sorkuntza morfologikoak laguntzen du.
• OCR (Optical Character recognition, Karaktereen ezagutze optikooa): zuzenketa ortografikoaren parekoa da, baina zuzenketa egiteko karaktereen formarekin lotutako erregelak gehitu behar dira, eta akatsak automatikoki ordezkatzeko aukera.
• Hitzen normalizazioa: testu historikoetan, dialektaletan edo sare sozialetan maiz erabiltzen diren aldaerak identifikatzea eta dagozkien forma estandarrekin lotzea funtsezkoa da halako testuetan. Erregela fonologiko eta lexiko gehigarriekin azkar gara daiteke halako sistema bat.
• Ikasleentzako laguntzak. Jokoak sortzeko, hiztegi-kontsultak errazteko edo ariketak automatikoki sortzeko tresna interesgarria da. Nor-nori-nork taula lantzeko joko bat egitea oso sinplea da, adibidez; edo dagozkion moduko aditz-forma jokatuak hiztegian bilatzen laguntzeko (halakoak, noski, ez baitaude zuzenean hiztegian).
• Itzulpen automatikoan laguntzeko. Ezagutzan oinarritutako ereduan analisi eta sorkuntza morfologikoak ezinbesteko elementuak dira; nahiz eta gaur egungo sistema eraginkorrenetan beste modu batez egiten den.
• Bertsotan ikasteko edo automatikoki osatzeko elementu garrantzitsua da, errima egiaztatzea edo sortzea nahiko erraz gertatzen baita.

Azken bi aplikazioak eta zuzenketa ortografikoarena aztertuko ditugu apur bat sakonago ondoko azpiataletan.

Xuxen

Xuxen III (2001)

Xuxen zuzentzaile ortografikoa izan zen analizatzaile morfologikoaren lehen aplikazioa, baita arrakastatsuena ere. 1994an sortutako lehen bertsioa, EHUko Ixa taldearen, UZEIren eta Baionako Hizkia enpresaren artean merkaturatua, aparteko programa bat zen, testu-editoreetatik independentea. PC edo Mac batean MS-Word edo WordPerfect-ekin testua editatu eta amaitu ondoren zuzentzea errazten zuen formatu-kontu guztiak errespetatuz. Hasieran garestia zen, eta nagusiki argitaletxeetan eta irakaskuntzan erabili zen. Euskara batua finkatzeko berebiziko tresna izan da. Izan ere, esan daiteke Xuxen laguntza handikoa izan dela azken bi hamarkada hauetan, euskara idatziaren normalizazioan, Euskaltzaindiaren hiztegi-arauak eta gomendioak kaleratu eta gutxira normaltasunez onartuak eta erabiliak izan zitezen. Aplikazio giltzarria da normalizazioaren bidean.

Euskarak duen konplexutasun/aberastasun morfologikoa dela eta, hitz bat ondo dagoen ala ez erabakitzeko ezin zen, beste hizkuntza batzuetarako egiten zen bezala, hitz-zerrenda batean oinarritu; lema batetik abiatuta sor daitezkeen zilegi diren formak asko direnez, zerrenda izugarria izango bailitzateke. Hori dela eta, egindako hurbilpena teknologia aldetik oso berritzailea izan zen, zuzentzaile gehien-gehienak hitzetan oinarritzen baitziren, eta ez morfologian. Esan bezala, analisirik ez zuen edozein hitz susmagarritzat jotzen zuen, eta, ondorioz, azpimarratu egiten zuen. Gainera, bi ezaugarri ahaltsu zituen:

• Proposamenak egiteko ohiko bideez gain (hitzaren karaktere bat gehitzea, aldatzea edo ezabatzea) «ohiko akatsak» hartzen zituen kontuan. Horretarako erregela morfofonologiko eta lexiko-sarrera berriak idatzi ziren. Adibidez, lexikoan haundi lema gehitu zen dagokion handi estandarrarekin lotuta. Erregelei dagokienez, hainbat fenomeno aurreikusten ziren: h-a ez jartzea, x/j aldaketa, o/u nahastea lemaren amaieran, erdararen eraginez v edo c idaztea, esate baterako.
• Erabiltzailearen hiztegia. Hitz-forma berriak gehi zitezkeen, eta, horri esker, aurrerantzean hitz-forma hori ez ezik, haren flexio osoa ezagutuko zen, beste ezer egin gabe. Erabilpen teknikorako oso garrantzitsua den ezaugarria, eta zoritxarrez, 2023ko sistemetan integratzen ez zena.

Arrakastatsua izan arren, ortografia testua amaitu ondoren egiaztatu behar zen, ez baitzegoen integratuta testu-editoreetan, Word eta Word Perfect-eko formatua errespetatzen bazuen ere. Hori dela eta, eskaera handia ze-formatua errespetatzen bazuen ere. Hori dela eta, eskaera handia zegoen integratuta egon zedin ohiko testu-editoreetan, batez ere argitaletxeetan eta administrazioan.

Xuxen 5 (2018)

Microsoftekin akordio bat bideratu eta gero, hala gertatu zen; eta hurrengo urteetan, Eleka-Elhuyarrek egindako lanari esker, beste enpresa batzuetako aplikazioetan integratzen joan zen. Software librearen bertsioa ere lortu zen, nahi baino beranduago, morfologikoki konplexu diren hizkuntzetarako zeuden zuzentzaile estandarrak desegokiak zirelako. Hungariatik proposatutako Hunspell estandartzat hartu zenean, berriz, dena erraztu zen. Hizkuntzaren aldetik, osatuz eta eguneratuz joan da, eta zuzentzaile ortografiko berriak sortu dira euskararako: Hobelex (UZEIk kaleratua eta ezagutza berean oinarritua) edo multinazionalek gaur egun, zorionez, eskaintzen dituztenak (Microsoftena dagoeneko ez da Xuxen, eta Google Docs-ek berea du).

Bizkaierarako ere bertsio bat egin zen Ixa eta Eleka-Elhuyarren batera, Labayrurekin lankidetzan. Datu-basean forma berriak sartu ziren lehenetsitako estandarrekin lotuta (deutso-dio, uri-hiri, gitxi-gutxi...) eta hautazko erregela morfofonologiko berriak gehitu ziren morfemetan eta azalean aldaketak eragiteko (-sino ->sio, -e->-a, -ea->-a, esate baterako, telebisino/telebisio, laba/labe eta alabea/alaba onartu eta proposatu ahal izateko). Arrakasta mugatua izan da, bizkaiera estandarizatua» ez dagoelako ondo definituta, besteak beste.

Beste aplikazioak: itzulpen automatikoa eta bertsolaritza

Morfologia funtsezko osagaia da itzulpen automatikoan ere, ezagutzan oinarritutako teknologian erabiltzen denean. Batez ere. gaztelania-euskara (es-eu) bikoterako garatu zuten Matxin itzultzailean. Prozesadore morfologikoa berrerabili zuten, baina analisiari baino gehiago sorkuntzari atera zioten etekina.

Gaur egun, itzulpen automatikoan emaitza onenak sistema neuronalekin lortzen dira, baina horretarako testu-masa handiak behar dira. Egoera horretan ez dauden hizkuntzen kasuetan, ezagutzan oinarritutako hurbilpena erabiltzen da oraindik.

Bertsolaritzari dagokionez, prozesadore morfologikoak erraztu zuen bertsogintzako hainbat ataletan errima egiaztatzea eta hitz errimatuak sortzea, batez ere, eta neurria kontrolatzea.

Lehen urrats batean, hitz errimatuak egindako inplementazioa erabiliz sortzea izan zen helburua, hitzak eta morfema-sistema osoa atzekoz aurrera bihurtu zituzten, horrela posible eginez sorkuntza abiatzea amaieratik hasita.

Aitzol Astigarraga tesia aurkezten Bertsobot robot bertsolariari buruz. (2017)

Bigarren urrats batean, aurreko elementua asko sinplifikatu zuten, garaiko teknologiak ahalbidetzen zuelako konpilazio automatikoan reverse eragilea erabiltzea. Gero, eta teknologia berarekin silaba-banatzaile edo -kontatzaile batekin osatuta, bertso-bilketa bat egin zen eta bertso-eskoletako ikasleei begirako aplikazio bat garatu zen (arbel digitala). Eta azkenik, Bertsobot izeneko proiektuari hasiera eman zioten, non epe luzeko helburua zen adimen artifizialeko erronka handi bati ekitea: bertso-sorkuntza.

2012rako eginak zeuden hurbilpen oinarrizkoenak: 1) Memoria hutseko lana, 2) Corpusen gaineko bilaketa arrunta, eta 3) Corpusen gaineko bilaketa adimenduna. Horrez gain, sorkuntza librean urrats batzuk eman ziren.

Hortik aurrera, Bertsobotek garapen interesgarria izan du EHUko beste talde bitan: robotikan eta kantaeraren sorkuntzan Sarasola. Aurrerapen horiekin guztiekin, eta adimen artifizialean testu-sorkuntzan gertatzen ari diren aurrerapen izugarriekin ez litzateke harritzekoa laster Bertsobot errealitatea izatea.

Ikergaiak. Morfologia testuetatik inferitzea

Aipatutako Koskenniemmiren eta Karttunenen ekarpenetatik abiatuta egoera finituko morfologia asko garatu zen, eta horrek euskarari eta morfologikoki konplexu diren beste hizkuntza askori lagundu zien irtenbide konputazionala bideratzen. Ildo horretatik, Karttunen-entzat 2007an morfologia konputazionala guztiz bideratuta zegoela, zientzia aldetik problema ebatzia zela («from a computational point of view morphology was a solved problem»).

Hizkuntza semitikoen morfologiarako ere irtenbidea aurkitu zen bi mailako ereduari mailak gehituz. Baina, zer gertatzen da hizkuntza baten lexikoa eta arau morfologikoak ezezagunak direnean? Edo, ezagutu arren, garapen konputazional azkar bat egin nahi dugunean? Hor aukera interesgarria da zuzenean testuetatik morfologia inferitzea. Funtsezko ikergaia bihurtu da hori XXI. mendean, bi urratsetatik igaroz: eredu estatistikoa eta ikasketa sakona.

Morfologia inferitzeko eredu estatistikoa

Testu hutsetatik abiatuta hitzak osatzen dituzten morfemak inferitzea proposatu da. Metodoen oinarria testuetako hitzen hasierak eta, batez ere, amaierak estatistikoki aztertzean datza, aurrizkiak, artizkiak eta atzizkiak identifikatuz, eta bide batez stem-ak (azaleko lemak edo sasi-lemak). Azaleko mailan lan egiten duten metodo hauek, beraz, forma kanonikoen ordez hitz-zatiak identifikatzen dituzte, aldaketa morfofonologikoak kontuan hartu gabe (horregatik lemak baino stem-ak identifikatzen dira).

Arrakasta handienetako metodoen artean Morfessor aipa daiteke, flexio handiko hizkuntzetarako egokia delako. Ixa taldeko Izaskun Etxeberriaren tesian tresnaren funtsa azaltzen da eta euskararen testu historikoei aplikatzen zaie (garaiko osagai morfologikoak identifikatu nahian). Etxeberriak zioenez:

"...tresnaren helburua da hizkuntza-eredu bat induzitzea modu ez-gainbegiratuan testu hutseko corpus batetik abiatuta. Oinarrizko hizkuntza-eredua (Baseline model deitzen diote) morfemaz osatutako lexikoi bat da (M), beraz, helburua da lexikoi onena bilatzea sarrerako corpusa segmentatzeko."

Eta adibideak ere ematen zituen:

"Horrela lortu ditugu, esaterako, amoreakgatik → amore + ak + gatik

edota elkharri → elkhar + ri moduko segmentazioak..."

Itzulpen automatiko neuronalean oso hedatua dagoen BPE metodoa ere saiatzen da atzizki adierazgarriak lortzen hitz ezezagunetan, eta bide batez hitz horiei dagozkien lemak asmatzen. Euskararako ere erabili izan da eta emaitza onak ematen ditu.

Baina Etxeberriaren tesian helburu nagusia testu historikoen normalizazioa da, eta horretarako forma historiko bakoitza gaur egungo idazkeran dagokion forma estandarrekin lotzen da, testu historikoen kontsulta errazteko asmoz. Hori lortzeko, erregela morfofonologikoak inferitzen dira, baina ezagutzan oinarritutakoetan ez bezala sortzen diren transduktoreak eredu probabilistiko batean konbinatzen dira. Horrela, amoreakgatik lotzen da amoreengatik forma estandarrarekin eta elkharri, elkarri formarekin, eta horretarako ak/en aldaketa ikasten da, baita h-ren galera ere zenbait testuingurutan. Tesian frogatzen da helburu horretarako ezagutzan oinarritutako erregeletan baino emaitza hobeak lortzen direla eredu estatistikoekin, betiere eskuz prestatutako bikote (aldaera/estandarra) zerrenda batetik abiatuta.

Teknika estatistiko horiek testu historikoak edo dialektalak prozesatzeko asko erabiltzen dira, baita OCR (Optical Character Recognition, Karaktereen ezagutze optikoa) akatsak zuzentzeko edo sare sozialetako testuak normalizatzeko ere.

Morfologiaren inferentzia ikasketa sakonaren bidez

Aipatu den bezala, azken urteotan morfologia konputazionalaren ikerkuntzan lerro nagusia morfologia inferitzea izan da, hau da, adibideetatik paradigmak eta aldaera fonologikoak orokortzea, salbuespenak ere bereiziz. Horretarako bide emankorrenetako bat shared task edo partekatutako atazak izan dira. Horietan erronka bat planteatzen da modu irekian, eta mundu osoko edozein ikertzaile edo ikertzaile taldek parte har dezake soluzio onena bilatzen. Horrelako erronketan ohikoak izaten dira ikasketa sakonean oinarritutako sistemak, eta morfologia konputazionala ez da salbuespena izan.

Horren adibidea SIGMOrPHON ataza partekatua da. Hasieran helburua datuetatik abiatuta sortzaile morfologikoak garatzea izan zen eta aurrerago bestelako atazak gehitu zituzten. Morfologiara aplikatutako ikasketa sakonaren gorakada nagusia LMU-MED sistemarekin hasi zen, 2016an, non Kann-en sistema hoberena izan zen beste guztiekin alderatuta, eta sistema neuronalen egokitasuna agerian geratu zen ataza honetarako. Hurrengo urteetan ataza partekatuetan erabili ziren sistema gehienek modu batean edo beste batean ikasketa sakoneko ereduren bat erabili dute, dela LSTMdun sare errekurrenteak edo gaur egun puri-purian dauden transformer ereduak. Ataza horietan frogatuta geratu da datu nahikoa eskura izanez gero, sortzaile morfologikoak sortzea erlatiboki erraza dela.

Azken urteotan, baina, interesa piztu dute datu gutxirekin sortutako sistemek eta honako galderei erantzuten saiatu dira: zenbat aditz jokatu behar ditugu aditzetarako sortzaile morfologiko bat sortzeko? Horrelako galderak planteatu zituzten 2018ko sorkuntza morfologikoko ataza partekatuan, non 100 hizkuntzatarako sortzaile morfologikoak sortzea zen ataza. Datu gutxi zuten hizkuntzetan enfasia egitearren, hiru modalitatetan lan egiteko aukera eskaini zuten: txikia, ertaina eta handia; entrenamendurako, berriz, 100, 1.000 edo 10.000 datu-instantzia ematen ziren. Gai hauetan egiten diren aurrerapenak baliabide urriko hizkuntzetarako baliagarriak izan daitezke.

100 hizkuntza horien artean euskara zegoen eta sistema onenak, % 98,90ko asmatze-tasa izan zuen datu-multzo handienarekin, % 88,10ekoa datu-multzo ertainarekin eta % 13,30ekoa txikienarekin.

Orokorrean, urtez urte emaitzak hobetuz badoaz ere, badaude oraindik mugak. Egoera finituko makinetan (FSM) oinarritutako sistemak oso eraginkorrak dira, teorikoki modu oso konpaktuan sistema oso konplexuak kodetzen baitituzte. Gainera, jakintza linguistikoa eskuz kodetuta dagoenez, arazo bat baldin badago, nahiko erraza da arazoaren muina aurkitu eta konpontzea. Sistema neuronalen arazo bat, berriz, gaur egun puri-purian dagoena, irakurgarritasun edo interpretabilitatea da. Sare neuronaletan oinarritutako sistema guztiek sarrerako edozein datu emanik emaitza bat itzultzen dute, eta askotan irteera hori nola eta zergatik itzuli duten interpretatzea ez da erraza. Horregatik, maiz sare neuronalok kutxa beltzak direla esan ohi da.

Bestalde, ematen du ikasketa sakoneko hurbilpenean, oro har, informazio linguistikoak ez duela toki handirik eta, corpus erraldoiak izanez gero, emaitza ona itzultzen duela, askotan, informazio linguistikoa erabiliko bagenu baino hobea, itzulpen automatikoko hainbat kasutan ikusi izan dugun bezala. Hala ere, badira ahotsak itsu-itsuan ibiltze horrekin oso ados ez, eta informazio linguistikoa oinarrian erabilita sistema neuronalak martxan jarri dituztenak, emaitzak hobetuz morfologian.

Erreferentziak

Artikuluaren testua neurri handi batean CC-BY-SA lizentzia duen liburu-kapitulu honetatik atera da: "Aduriz, Itziar; Agirrezabal, Manex; Agirre, Eneko; Alegria, Iñaki; Arregi, Xabier; Arriola, Jose Mari; Artola, Xabier; Diaz de Ilarraza, Arantza; Estarrona, Ainara; Etxeberria, Izaskun; Ezeiza, Nerea; Sarasola, Kepa. (2023). «Morfologia Konputazionala Euskaraz, 35 urte» Miren Azkarateri esker onez (UPV/EHU Argitalpen Zerbitzua): 15–30. ISBN 978-84-1319-536-0.

Bibliografia

• Euskara Institutua, EHU, "Morfologia konputazionala", Sareko Euskal Gramatika (SEG), www.ehu.eus/seg ISBN: 978-84-693-9891-3
• Gonzalez, Miriam Urkia; Loinaz, Iñaki Alegria. (2002-12-17). Morfologia konputazionala. UEU ISBN 978-84-8438-034-4.
• Alegria Loinaz, Iñaki. (1994). Euskal morfologiaren tratamendu automatikorako tresnak. UPV/EHU

Ikus, gainera

• IXA_pipes
• Hizkuntzaren prozesamendua
• Itzulpengintza automatikoa
• Association for Computational Linguistics (ACL)
• Computational Linguistics aldizkaria
• Eneko Agirre
• Xabier Arregi
• Xabier Artola
• Arantza Diaz de Ilarraza
• Montserrat Maritxalar
• Rodrigo Agerri

Kanpo estekak

• (Ingelesez) Association for Computational Linguistics (ACL)
• (Ingelesez) ACL Anthology of research papers
• (Ingelesez) Language Technology World
• Hizkuntzalaritza konputazionala atala Sareko Euskal Gramatikan (SEG)
• UEUko "Hizkuntzalaritza konputazionala" liburua deskargatu.
• Ixa taldea. EHUko ikerketa taldea.
• HAP masterra. EHU-ko Hizkuntzaren Azterketa eta Prozesamendua masterra.
• Berbatek. Hiru urterako (2009-2011) ikerketa estrategikoko proiektu bat da, eta Elhuyar Fundazioak, EHUko Ixa eta Aholab ikerketa-taldeek eta Vicomtech eta Robotiker teknologia-zentroek osatzen dute proiektu hori gauzatzeko partzuergoa.
• Langune hizkuntzen Industriaren alorreko Euskal Herriko enpresen elkartea da. Elkarte hau 2010an sortu da eta itzulpengintza, edukiak, irakaskuntza eta hizkuntzen teknologiaren alorreko 30 enpresatik gora elkartzen ditu.

• Datuak: Q11937582