Hitz errore-tasa

Hitz errore-tasa (Ingelesez, Word Error Rate edo WER) ahots-hautematearen edo itzulpengintza-automatikoko sistemen portaeraren neurketa metodo arrunta da.

Errendimendua neurtzeko zailtasun orokorra aitortzen den hitz sekuentzian erreferentziaren sekuentzian luzapen desberdina izan daitekeela uste da (ustez zuzena). WER Levenshtein-ren distantziatik dator, hitz-mailan lan egiten duena, fonema- mailaren ordez. WER sistema, sistema baten hobekuntzak ebaluatzeko edota sistema ezberdinak alderatzeko tresna baliagarria da. Hala ere, neurketa mota honek ez du xehetasunik eskaintzen erroreen akatsen izaerari buruz; beraz, esfortzu gehiago beharrezkoa da errore-iturri nagusia(k) identifikatzeko eta edozein ikerketa-esfortzutan zentratzeko .

Arazo hau, hasieran ezagutzen den hitz-sekuentzia erreferentziaren (ahozko) hitz-sekuentziarekin lerrokatuz konpontzen da, horretarako kate dinamikoaren lerrokatzea erabiltzen da. Gai honen azterketa, "perpausaren eta hitzaren erroreen arteko korrelazioa adierazten duen botere legea" izena duen teorian ikusi daiteke. ^[1]

Hitzen errore-tasa kalkulatzeko, honela kalkulatu daiteke:

{\mathit {WER}}={\frac {S+D+I}{N}}={\frac {S+D+I}{S+D+C}}

non

S ordezkapenen kopurua da,
D ezabatze kopurua da,
I txertaketa kopurua da,
C hitz zuzenen kopurua da,
N, (N = S + D + C) erreferentziaren hitz kopurua da.

"Ezabatzea" eta "txertaketa" atzean dagoen intuisioa da nola heltzen garen erreferentzia batetik hipotesi batera. Beraz, "Hau da wikipedia" erreferentzia badaukagu eta "Hau _ wikipedia" hipotesia, ezabaketa deituko diogu.

Hizketa-hautemate sistema baten errendimendua jakinarazten denean, batzuetan, hitz zehaztasuna (Ingelesez, Word accuracy edo WAcc) erabiltzen da horren ordez:

{\mathit {WAcc}}=1-{\mathit {WER}}={\frac {N-S-D-I}{N}}={\frac {H-I}{N}}

non

H, N-(S+D) den, ongi ezagutu diren hitz kopurua.

I= 0 baldin bada, orduan, WAcc, zuzen ezagututako 'H' hitzen tasa bat , 'N'-ren hitz guztien kopurura atzera-egitearen (informazio-berreskuratzea) baliokidea izango da.

Kontuan izan N, erreferentziaren hitz kopurua dela eta, hitzaren errore-tasa 1.0 baino handiagoa izan daiteke eta, beraz, hitzaren zehaztasuna 0.0 baino txikiagoa izan daiteke.

Esperimentuak[aldatu | aldatu iturburu kodea]

Normalean uste da hitz gutxieneko errore-tasa batek goi-mailako zehaztasuna erakusten duela hizketa-ezagutzean (ahotsaren aintzatespenean), goi-mailako hitzen errore-tasarekin alderatuz. Hala ere, gutxienez azterketa batek erakutsi du hori ez dela egia. Microsoft Research-en esperimentu batean, jendea "adimenaren optimizazio helburuarekin bat dator"-en (Wang, Acero eta Chelba, 2003) menpean trebatuak izango balira, hitz errore tasa txikiagoa duten beste pertsona batzuek baino zehaztasun handiagoa erakutsiko zuten hizkuntzaren ulermenean, horrela erakutsiz ahozko hizkuntzaren benetako ulermena ez dela bakarrik oinarritzen zehaztasun altuko hitzaren hautematean . ^[2]

Beste metrika batzuk[aldatu | aldatu iturburu kodea]

Goian dagoen bezalako formula orokorra erabiltzea arazo bat dauka, hala ere, ez dira kontuan hartzen emaitza arrakastatsuetan probabilitate desberdinetan errore mota desberdinak izan ditzaketen ondorioak, adibidez, akats batzuk beste batzuek baino kalte larriagoak izan litezke, eta batzuk agian beste batzuk baino errazago zuzendu litezke. Faktore hauek probatzen ari den sintaxiak zehaztuko ditu. Beste arazo bat da, nahiz eta lerrokatzerik hoberena izan, formula ezin du ordezketa-errorea eta ezabaketa-txertaketaren arteko konbinaketaren artean bereizi.

Hunt (1990) errendimenduaren zehaztapenaren pisu bidezko neurketaren erabilera proposatu du, non, ordezkapen akatsak unitatean pisatzen diren, baina ezabatze eta txertatze akatsak 0.5-ko pisua baino ez dute, beraz:

{\mathit {WER}}={\frac {S+0.5D+0.5I}{N}}

Eztabaida dago, hala ere, Hunt-en formulak behar bezala erabili ahal daitekeen sistema bakar baten errendimendua ebaluatzeko, hautagai-sistema nahiko lehiakorrak alderatzeko bide bezala garatuta baitzen. Beste konplexutasun bat gehitzen da sintaxi jakin batek akatsen zuzenketarako aukera ematen duen ala ez eta, hala bada, zein prozesu erraza den erabiltzailearentzat. Hortaz, meritua dauka, esate baterako, errendimendu-neurriak garatu beharko liratekeela neurtu nahi dugun sistema partikularrari egokitzeko esaten duen argumentua.

Edozein neurketa erabiltzen dela, ordea, arazo teoriko garrantzitsu bat sistema baten funtzionamendua ebaluatzeko hitz bat "txarto ahoskatu" den ala ez erabakitzea da, hau da, erabakitzea akatsa erabiltzaileak edo aitortzaileak egin du. Hau bereziki garrantzitsua da hizkuntza jakin bateko hiztun ez direnak edo eskualde jakin bateko azentu sendoa duten jendearearen problemari aurre egiteko diseinatu den sistema batean.

Neurketa-prozesuan hitzak esateko beharko litzatekeen erritmoa desberdina izango da pertsonaren arabera, baita atseden hartzeko edo arnasa hartzeko beharra ere. Faktore horiek guztiak nolabait kontrolatu behar dira.

Testu-diktaketan, normalean, %95 baino gutxiago duen zehaztasun errendimendu tasa ez da onargarria izango, baina hau ere sintaxia eta/edo domeinu-ren araberakoa izan daiteke. Adibidez, erabiltzaileek zeregin hori egiteko denbora presiopean badaude, edo osatzeko beste metodo alternatiboak badaude, eta abar.

"Hitz bakarreko errore-tasa" terminoa batzuetan aipatzen da sistemaren hiztegirako hitz bakoitzeko aitorpen okerren ehunekoa bezala.

Edizio distantzia[aldatu | aldatu iturburu kodea]

Errore-tasa hitza ere normalizaturiko distantziaren editatzeko luzera-ri (ze desberdin diren bi kate) deritzo. ^[3] X eta Y-ren arteko normalizaturiko editatzeko distantzia d (X, Y), W(P)/L(P) -ren minimo gisa definitzen da; non, P, X eta Y-ren arteko editatzeko bidea da, W(P) editatzeko oinarrizko operazioen pisuen batura da, eta L (P) eragiketa horien kopurua (P-ren luzera) da. ^[4]