Testu corpus

Wikipedia, Entziklopedia askea
Jump to navigation Jump to search

Hizkuntzalaritzan eta hizkuntzaren prozesamenduan, corpus edo testu-corpusa nolabait egituratutako testu sorta handi bat da. Hizkuntza deskribatzeko eta ikertzeko baliatzen da, hizkuntza-datu bilduma gisa, lexikoaren, morfosintaxiaren edo semantikaren aldetik. Corpus hitza latinetik dator, eta euskaraz gorputza esan nahi du.

Corpus motak[aldatu | aldatu iturburu kodea]

  • Testu-artxiboak. Testu osoak, berezko interesa dutenak. Idatzizkoak eta grabaziozkoak izan daitezke, adibidez literatura obrak, errefrau bildumak, bertso txapelketen grabazioak, ipuin kontaketak etab.
  • Testu-corpusak. Helburu linguistiko batekin osatzen diren bildumak. Testu aztertugabeak. Praktikan testu idatziei baino ez dagokie.
  • Corpus etiketatuak. Linguistikoki markatutako testuak (lemak, etiketa morfosintaktikoak, lokuzioak, informazio morfologikoa, sintaktikoa...)
  • Erreferentzia-corpusak. Hizkuntzaren erabilerari dagokio.
  • Datu-base linguistiko bereziak. Hizkuntza atalen arabera egituratuak (lexikoa, morfologia, joskera).
  • Corpus elebidunak. Bi corpus dira bi hizkuntzatan, bata bestearen itzulpena denean.
  • Corpus konparagarriak. Bi corpus dira bi hizkuntzatan, baina ez dira esaldiz-esaldi edo paragrafoz paragrafo paraleloak. Gai beraren ingurukoak, urte berekoak, iturri antzekoetatik hartutakoak dira, baina ez dago korrelazio zuzena bien arteko zaten artean.
  • Hizketa-corpusak. Ahozko seinaleekin egindako grabazioak.
« Gure algoritmoak, Aholabenak eta Ixarenak, oinarritzen dira testu corpus handietan: horiek zenbat eta handiagoak izan, hobeto ikasiko dute algoritmoek. Ahalik eta testu gehien gordez lortzen da hori. Adibidez, itzulpengintza automatikorako corpus elebidunak behar ditugu: beharrezkoa da sortzen den edukia guztion eskura jartzea, ikerketarako besterik ez bada ere, eta sortzen den hori euskaraz izatea.[1] »

Arantza Diaz de Ilarraza

Euskaraz dauden corpusak[aldatu | aldatu iturburu kodea]

Orotariko Euskal Hiztegia (OEH)[aldatu | aldatu iturburu kodea]

Hiztegi honek garai, toki eta mota guztietako euskal hitz-ondarea bildu nahi du. Obra deskriptiboa da, eta ez arauemailea. Euskaldunak, mende eta euskalkietan zehar zein hitz eta esapidez baliatu diren eta nola baliatu diren ahalik eta osoen eta zehatzen azaltzea de hiztegi honen xedea. Ia hirurehun liburutik jasotako corpusa aztertuz lau milioitik gorako hitz-altxorrarekin lan egiten da. Hots, tradizioaren bilketa-lanean oinarritzen da proiektua.

Orotariko Euskal Hiztegia corpus diakroniko itxia dela esan dezakegu. 1970. hamarkada arte iristen baita. 310 obra oso "aukeratu" biltzen ditu, 5.800.000 hitzek osatua; kodetu eta lematizatu gabea. Hala ere, euskararen historiaren altxor ezinbestekoa da. Sailkapen orokorra du: epea, euskalkia, eta testu mota zabala.

XX. mendeko euskararen corpus estatistikoa[aldatu | aldatu iturburu kodea]

XX. mendeko euskara jasotzen duen corpus estatistikoa 4.658.036 testu-hitzez osatua da. Erabili izan den eta erabiltzen den euskararen lekuko eta erakusgarri izatea du egiteko nagusi eta ia bakarra, eta ez ereduzko hizkuntza proposatzea.[2][3] Kontsultagarria da sarean.[4]

Corpus estatistikoaren oinarria, XX. mendeko euskal argitalpenen inbentario osoa da, "Datu-base bibliografikoa" atalean aipatzen diren irizpideen arabera sailkatua. Argitalpenek osatzen duten unibertsotik abiatuta, osotasun hori proportzionalki adieraziko duen lagina eskuratu da zozketa bidez, orotara jasotako 6.351 obra-zatik osatzen dutena.

Proiektua 1987an jarri zen martxan eta lehen fase batean 1900-1987 urteetako corpusa osatu zen, baina corpus irekia zen eta, beraz, urtero eguneratzen zen, nahiz mendea bukatzean corpus itxi izatera pasatu den, mende oso baten erakusgarri. Bestalde, euskara idatzia jaso da hor, ez ahozkoa. Ahozkoek badute bere lekua, baina transkribatu eta argitaratu diren neurrian jaso dira.

Dokumentuak sailkatzeko irizpideak hauek dira:

  • Epea, garaia: lau garai nagusitan banatzen dira XX. mendeko argitalpenak:
    • 1900-1939: mende-hasieratik gerrak artekoa.
    • 1940-1968: gerraostean abiatu eta euskara batuaren sorrera artekoa.
    • 1969-1990: euskara batuak ekarritako aldaketarekin hasi eta Euskaltzaindiaren gomendioak eta arauak artekoa (eta Ibon Sarasolaren Hauta-Lanerako Euskal Hiztegia argitaratu artekoa).
    • 1991-1999: araugintza berriaren ondokoa.
  • Euskalkiak: Bizkaiera, Gipuzkera, Zuberera, Lapurtera-Nafarrera (biak bakarrean bilduta) eta Euskara batua.
  • Sailkatu gabeak:Atal honetan egunkari eta astekarietako artikuluak jasotzen dira, horien inbentarioa ez baita artikuluka egin, bestelako aldizkariekin egin den bezala, baizik argitalpena bere osoan harturik. Honela sailkatu dira, halaber, askoren jardunak jasotzen dituzten bertso-bildumak ere.
  • Saio-artikuluak: Euskera, Egan, Euzko Gogoa, Jakin bezalako aldizkarietako artikuluak banaka fitxatu dira inbentarioan, eta horietakoek osatzen dute multzo hau.
  • Testu-mota: Administrazio-idazkia, Ikasliburuak, Saio-liburuak, Literatura-prosa, Poesia, Antzerkia, Bertsoak, Ikerketa-lanak, Haur- eta gazte-literatura, Ahozkoak: ahozko jardunen transkripzioak, Liturgia, Egunkariak, eta Aldizkariak.

Sailkapen hauek, unibertsoaren berri eman eta lagin erakusgarria aukeratzeko oinarri izateaz gain, lagungarri izan litezke oraingo kontsultetan. Alegia, forma bat euskalki, epe edo testu-mota batean (edo gehiagotan) nola erabili den ikus liteke, bilaketa murriztuz. Adibidez, pastoral lema begira dezakegu, baina zubererazko testuetara mugatua, edo erdu bizkaieraz ez bestekoetan. Autoreak eta izenburuak ere ageri dira, bai liburuen kasuan eta bai aldizkarietako artikuluetan ere, artikulua eta aldizkariaren fitxa jaso baita.

Horiek dira corpusaren ezaugarriak; baina corpusak badu balio erantsi bat: lematizatua da. Alegia, testu-hitz bakoitzari forma estandar bat erantsi zaio, hiztegi-sarrera moduko bat, eta horrek, besteak beste, erraztu egingo du kontsulta. Adibide batekin esateko, forma deklinatuei eta aldaerei lema bakarra ezarri zaienez, helduleku erosoa dugu orain lema hori: etxe. Etxe, etxea, etxien, echeco, etchetik bezalako testu-hitzak etxe galdetuz ikus daitezke, aldaeraren bat ahazteko arriskurik gabe. Lematizazio hau, bestalde, ez da hitz bakunetara mugatzen; hitz soilez gain, hitz elkartuak, eratorriak eta bestelako hitz anitzeko unitate lexikalak ere markatu dira: etxe lema soilaren ondoan, etxe orratz, etxe-abere, etxe-tresna, etxeko, etxeko jaun, etxekoandre, etxepe, etxetxo, etxeño, etxezain bezalako lemak ere adieraziz. Edo, hala soilaz gain, hala ere, hala eta guztiz ere, hala... nola, hala nola modukoak ere zehaztuz. Horiek horrela, 101.585 lema desberdin aurkituko ditu erabiltzaileak, bere kontsultak egiteko modu eroso eta batez ere segurua eskainiko diotenak.

Lexikoaren Behatokia Corpusa (LBC)[aldatu | aldatu iturburu kodea]

Lexikoaren Behatokia Corpusa kontsultatzeko pantaila.

Komunikabideetako testuekin sortutako corpus monitore bat da, hizkuntzaren erabilera hurbiletik jarraitzeko helburua duena. Proiektua  2008. urtean jarri zuen abian Euskaltzaindiak, Andoni Sagarna euskaltzainaren zuzendaritzapean. Euskaltzaindia, Ixa Taldea, Elhuyar Fundazioa eta UZEI dira proiektuaren kideak. Urtean-urtean handituz joan da eta 2016. urtearen bukaeran 58.576.635 testu-hitz zeuzkan corpusak. XML lengoaian etiketatuta dago, eta TEI estandarrari jarraitzen dio.[5][6][7] Corpusa kontsultatu daiteke sarean.[8]

Zientzia eta Teknologia corpusa (ZT)[aldatu | aldatu iturburu kodea]

Zientzia eta Teknologiako testuen corpusean 8,5 milioi hitz daude, morfosintaktikoki etiketatuta. UPV/EHUko IXA taldeak eta Elhuyar Fundazioak elkarlanean eratu zuten 2003tik 2006ra bitartean. 1990-2002 bitartean argitaratutako zientzia eta teknologiaren alorreko obrak bildu ziren corpusa elikatzeko. Bildutako testuak sailkatuta daude eremuaren (jakintza-alorra) eta generoaren (testu-mota) arabera. Sailkatutatko eremuak hauek dira: Zientzia zehatzak, Materiaren eta energiaren zientziak, Lurraren zientziak, Biziaren zientziak, Teknologia, Orokorra eta bestelakoak. Generoak, berriz hauek dira: Oinarrizko hezkuntzako materiala, Goi-mailako liburua, Artikulu espezializatua, Dibulgazio-artikulua, Dibulgazio-liburua, eta Administrazio publikoko dokumentua.[9][1]

Etiketatze linguistikoa egiteko, euskara automatikoki prozesatzeko teknologia aurreratua erabili zen (IXA taldearen Eustagger etiketatzailea). Testuko hitz bakoitzaren lema eta kategoria/azpikategoria etiketatu dira. Corpusean 8,5 milioi hitz daude, eta horietatik 1,9 milioi hitz eskuz berrikusi, desanbiguatu eta zuzendu ziren. Corpusgintza-lanak egiteko eta kudeatzeko, Corpusgile tresna garatu zuten; tresna horrek corpusa eratzeko urratsak hartzen ditu bere baitan, eta, etiketatze linguistikoa egiteko, IXA taldearen Eustagger eta Eulia tresnekin egiten du lan.

Corpusa XMLn etiketatuta dago, eta TEI estandarrari jarraitu diogu. Sarean kontsultatu daiteke.[10]

Ereduzko prosa gaur (EPG)[aldatu | aldatu iturburu kodea]

EHUko Euskara Institutuak eskaintzen duen corpusetako bat. 287 liburuk eta prentsako artikuluek osatzen dute: 25,1 milioi hitz ditu. Testuak 2001-2006 tarteko epean argitaratuak dira.

Hitzen artean ikerketak egiteko arakatzaile eragingarri batez hornitua da corpusa hori.

Ereduzko prosa dinamikoa (EPD)[aldatu | aldatu iturburu kodea]

EHUko Euskara Institutuak eskaintzen duen corpusetako bat. Liburuek eta prentsako artikuluek osatzen dute, eta corpusa urtero berritzen da, azken bost urtean argitaratutako testuak bilduz. 15 milioi hitz ditu.

Sintaktikoki etiketatutako EPEC corpusa (EPEC-DEP)[aldatu | aldatu iturburu kodea]

Euskararen Prozesamendurako Erreferentzia Corpuseko (EPEC) etiketazioa Dependentzia-Gramatikaren Teorian oinarrituta dago. Basque Dependency Treebank ere esaten zaio.[11]

Batuaz idatzitako 300.000 hitzeko testu-bilduma da. Heren bat XX. mendeko euskararen corpus estatistikotik hartu zen eta beste bi herenak Euskaldunon Egunkariatik. Hainbat mailatan (morfologia, sintaxi partziala eta semantika) dago etiketatuta eskuzko metodoak nahiz automatikoak baliatuta.

Dependentzia Gramatikaren Teoria erabiliz (Tesnière, 1959), esaldiko hitzak binaka lotzen dira esaldiaren zuhaitz sintaktikoa (dependentzia-zuhaitza ere deitua) lortzeko. Zuhaitz hauetan, batetik, adabegietan dauden hitzen arteko gobernatzaile/mendeko erlazioak irudikatzen dira, eta bestetik, bi hitzen arteko loturan mendekoak betetzen duen funtzio sintaktikoa adierazten da dependentzia-etiketen bidez.[12][13][1]

Goenkale corpusa[aldatu | aldatu iturburu kodea]

EHU-ko Euskara Institutuak eskaintzen duen corpusetako bat. ETBko "Goenkale" izeneko telesailean erabilitako elkarrizketetako testuetan oinarritua, 11 milioi hitz ditu.

Pentsamenduaren Klasikoak corpusa[aldatu | aldatu iturburu kodea]

EHU-ko Euskara Institutuak eskaintzen duen corpusetako bat. KLASIKOAK izeneko bilduman argitara emandako testuek osatzen dute corpusa, eta 10,7 milioi hitz ditu.

ZIO corpusa[aldatu | aldatu iturburu kodea]

EHU-ko Euskara Institutuak eskaintzen duen corpusetako bat. ZIO izeneko bilduman argitaratzen diren zientzia hedakuntzako testuetan oinarritutako corpusa da.

Zuzenbide corpusa[aldatu | aldatu iturburu kodea]

EHU-ko Euskara Institutuak eskaintzen duen corpusetako bat. Corpus berezia da, zuzenbidearen alorrekoa, eta urtero gaurkotzen da. 6,6 milioi testu ditu.

Gero Corpus Historikoa[aldatu | aldatu iturburu kodea]

Armiarma argitaletxeko Klasikoak bildumako euskarazko testu historikoak egungo euskara normalizatura ekarriak.[14][1]

Beste corpus batzuk[aldatu | aldatu iturburu kodea]

  • Brown Corpusa (1964) da lehen errferentzia corpus elektronikoa,milioi bat hitz besterik ez zuen eta sailkapena oso orokorra zen.
  • Frantext XVI-XIX.mende bitarteko testu frantsesen bilduma garrantzitsua da.Testuak euskarri informatikoan daude jasota. Corpusa gutxi gorabehera, 3500 lanek osatzen dute (karakteretan miliar bat baino gehiago). Edukiaren aldetik ehuneko laurogeia literaturatik dator eta gainerako ehuneko hogeia teknikaren mundutik, diziplina zientifiko ezberdinetatik hartua.
  • Cobuild-Bank of English Corpus erabilgarria ingelesezko testuaren 400 milioi hitzez osatua da (eskuliburuak, eleberriak, egunkariak, gida-liburuak, aldizkariak eta efemerideak) eta 20 milioi hitz, hizkuntza naturalaren transkripzioetatik aleratuak. Corpusa berez sailkatua da, horretarako sorturiko hitz-sailkatzaile baten bidez. Dagoeneko 200 milioi hitz igaro dira galbahe horretatik.
  • CREA. Egungo Espainieraren Erreferentzia Corpusa.(Corpus de referencia del español actual). Idatzizko (%90) nahiz ahozko (%10) testuez osatua, 1975etik gaur arte. 2003eko urrian 140 milioi zeukan eta 2004ko abenduan amaituta egotea espero da 160 milioi hitzez. Testu idatziak dira horretara biltzen direnak, liburuetatik, egunkari eta aldizkarietatik hartuak, gai asko (ehun baino gehiago) tartean direla. Hizkera mintzatua barneratzen da entzutezko osagaien bidez, irrati eta telebistetan burutuak.
  • CORDE. Espainieraren Corpus diakronikoa. (El Corpus diacrónico del Español). Espainiera hitz egin den alde eta leku guztietako testuez osatua, hizkuntza bera sortu zenetik 1975.urte arte. CORDE informazioa jasotzeko asmatu zen eta bertara hitzak eta euren esanahiak, gramatika eta beraren erabilera denboraren zehar bildu da. 2003.urteko urrian 180 milioi erregistro baino gehiago zituen. Corpusak prosazko eta bertsozko genero ezberdinak batzen ditu eta gaur ezinbesteko iturburua da Espainierari buruzko edozein ikerketa diakroniko egin ahal izateko.
  • CTILC Katalanaren testu-corpus informatizatua. (Corpus textual informatitzat de la llengua catalana). CTILC corpusak Diccionari de la llengua catalana (DIEC)funtsezko osagaia du. 52 milioi inguru hitzez dago osatuta. Kronologiaren ikuspuntutik 150en bat urte hartzen ditu eta morfosintaktikoki etiketatua da.
  • CORGA Egungo Galegoaren Erreferentiz Corpusa. Egun Interneten kontsulta daitezkeen bertsioak literatura lanak, saioa eta aldizkako argitalpenak dira. Kronologikoki 1975 et 2002.urteen artean argitaratutako testuak osatzen dute. Dokumentuak bibliografikoez gain, testuak medioaren, dataren eta gaiaren arabera daude sailkatuta. CORGA osatzen duten testuak beti dira argitaratuak

Hortaz, Corpusak dira gaur egungo linguistentzat eta oro har hizkuntzaren erabiltzaileentzat tresnarik ezinbestekoenak.

Erreferentziak[aldatu | aldatu iturburu kodea]

  1. a b c   Unanue Irureta, Maialen ««Itzultzaile automatiko batek ez du sekula pertsona batek bezala itzuliko»» Berria https://www.berria.eus/paperekoa/1942/046/001/2018-12-09/itzultzaile_automatiko_batek_ez_du_sekula_pertsona_batek_bezala_itzuliko.htm. Noiz kontsultatua: 2018-12-10 . Aipuaren errorea: Invalid <ref> tag; name ":0" defined multiple times with different content
  2.   Euskaltzaindia «XX. mendeko Euskararen Corpus estadistikoa» xxmendea.euskaltzaindia.net http://xxmendea.euskaltzaindia.net/Corpus/aurkezpena.html. Noiz kontsultatua: 2018-11-26 .
  3.   «Corpus beharra asetzeko baliabide eta tresna berriak: ZT corpusa, Corpusgile eta Eulia. – Hizkuntza-teknologiak» www.unibertsitatea.net http://www.unibertsitatea.net/blogak/ixa/2006/12/15/corpus-beharra-asetzeko-baliabide-eta-tresna-berriak-zt-corpusa-corpusgile-eta-eulia/. Noiz kontsultatua: 2018-11-26 .
  4.   «XX. mendeko Euskararen Corpus estatistikoa» xxmendea.euskaltzaindia.net http://xxmendea.euskaltzaindia.net/Corpus/index.jsp?hasiera=false&aurreratua=true&atala=true. Noiz kontsultatua: 2018-11-26 .
  5.   UZEI, Euskaltzaindia, Elhuyar Fundazioa, IXA Taldea, «Lexikoaren Behatokiaren Corpusa» lexikoarenbehatokia.euskaltzaindia.eus http://lexikoarenbehatokia.euskaltzaindia.eus/aurkezpena.htm. Noiz kontsultatua: 2018-11-26 .
  6.   «Lexikoaren Behatokia: Erabiltzen da hitz hau gaur egungo hedabideetan? – Hizkuntza-teknologiak» www.unibertsitatea.net http://www.unibertsitatea.net/blogak/ixa/2017/12/15/lexikoaren-behatokia-hitz-hau-erabiltzen-da-xxi-mendeko-hedabideetan/. Noiz kontsultatua: 2018-11-26 .
  7.   «Lexikoaren Behatokia: leiho bat XXI. mendeko hedabideetako euskarari - IXA Taldea (Atal berezia: Besterena nuen neuregana) - EIZIE» www.eizie.eus http://www.eizie.eus/Argitalpenak/Senez/20171102/behatokia. Noiz kontsultatua: 2018-11-26 .
  8.   UZEI, Euskaltzaindia, Elhuyar Fundazioa, IXA Taldea, «Lexikoaren Behatokiaren Corpusa» lexikoarenbehatokia.euskaltzaindia.net http://lexikoarenbehatokia.euskaltzaindia.net/cgi-bin/kontsulta.py. Noiz kontsultatua: 2018-11-26 .
  9.   Ixa Taldea, Elhuyar Fundazioa «Zientzia eta Teknologiaren Corpusa» www.ztcorpusa.eus http://www.ztcorpusa.eus/aurkezpena.htm. Noiz kontsultatua: 2018-11-26 .
  10.   Ixa Taldea, Elhuyar Fundazioa «Kontsulta-sistemaren laguntza. Zientzia eta Teknologiaren Corpusa» www.ztcorpusa.eus http://www.ztcorpusa.eus/laguntza.htm. Noiz kontsultatua: 2018-11-26 .
  11.   «EPEC-DEP (BDT) | Ixa taldea» ixa.si.ehu.eus http://ixa.si.ehu.eus/node/4477. Noiz kontsultatua: 2018-11-26 .
  12.   Ezeiza, Nerea «CORPUSAK USTIATZEKO TRESNA LINGUISTIKOAK. Euskararen etiketatzaile morfosintaktiko sendo eta malgua. | Ixa taldea» ixa.si.ehu.eus http://ixa.si.ehu.eus/node/4123. Noiz kontsultatua: 2018-11-26 .
  13.   Aranzabe, Maxux «Dependentzia-ereduan oinarritutako baliabide sintaktikoak: zuhaitz-bankua eta gramatika konputazionala | Ixa taldea» ixa.si.ehu.eus http://ixa.si.ehu.eus/node/4118. Noiz kontsultatua: 2018-11-26 .
  14.   «Gero Corpus Historikoa | Ixa taldea» ixa.si.ehu.eus http://ixa.si.ehu.eus/node/4490. Noiz kontsultatua: 2018-11-26 .

Bibliografia[aldatu | aldatu iturburu kodea]

  • Nerea Areta, Antton Gurrutxaga, Igor Leturia Begiratu bat corpus-baliabideei, BAT 66. 2008 (1)
  • (Gaztelaniaz) Martí Antonín, M.A.(Koord.: Tecnologías del lenguaje, Editorial UOC, Bartzelona, 2003.

Kanpo loturak[aldatu | aldatu iturburu kodea]