Ezkutuko semantikaren analisia

Ezkutuko semantikaren analisia (LSA) hizkuntzaren prozesamendurako teknika bat da. Dokumentu-multzo baten eta bertan agertzen diren terminoen arteko erlazioa aztertzeko kontzeptu-multzo bat sortzen da dokumentuetan eta terminoetan oinarrituz. Semantikoki oso antzeko diren hitzak antzeko esanahia duten testuetan agertzen direla ontzat ematen du LSAk. Testuetako paragrafoetako terminoen agerpen maiztasunak kalkulatuz termino-dokumentu matrize bat eraikitzen da (errenkada bat termino bakoitzeko eta zutabe bat paragrafo bakoitzeko) eta balio singularretan deskonposatzea (SVD) izeneko teknika matematikoa erabiltzen da terminoen eta dokumentuen adierazpen bektorialen dimentsioa murrizteko. Hitzen (terminoen) antzekotasun semantikoa kalkulatzeko errenkada-bektoreen arteko angeluaren kosinua kalkulatzen da (edo biderketa eskalarra). Kosinu-antzekotasuna 1etik gertu badago hitzak semantikoki antzekoak direla interpretatzen da, 0tik gertu badago, aldiz, semantikoki oso desberdinak direla.^[1]

1988an ezkutuko egitura semantikoan oinarritzen den informazio-berreskuratze teknika bat patentatu zuten (AEBetako 4,839,853 patentea, orain iraungia), Scott Deerwester, Susan Dumais, George Furnas, Richard Harshman, Thomas Landauer, Karen Lochbaum eta Lynn Streeter ikerlariek. Teknika Informazioa berreskuratzeko testuinguruan erabiltzen denean Ezkutuko Semantikaren Indexatzea (LSI) ^[2] izenez ezagutu ohi da.

Ikuspegi orokorra[aldatu | aldatu iturburu kodea]

Maiztasunen matrize[aldatu | aldatu iturburu kodea]

LSAk termino bakoitzeko errenkada bat eta dokumentu bakoitzeko zutabe bat dituen termino-dokumentu matrize bat eraikitzen du. Terminoek dokumentuetan duten agerpen maiztasuna adierazten da bertan; dentsitate gutxiko matrize bat izaten da. Maiztasunen matrizeko elementuak eraldatu egiten dira tf-idf (term frequency–inverse document frequency) ponderazio ereduaren bidez, adibidez: matrizeko elementuen ponderazioa terminoak dokumentuan duen agerpen maiztasunarekiko proportzionala da, dokumentu gutxitan agertzen diren terminoen ponderazioa igo egiten delarik haien garrantzia erlatiboa erakusteko asmoz.

Dimentsioa murriztea[aldatu | aldatu iturburu kodea]

Matrizea sortu ondoren, hein txikiagoko hurbilpen^[3] matrize bat kalkulatzen du LSAk. Hainbat arrazoi egon daitezke horretarako:

Jatorrizko termino-dokumentu matrizea oso handia izan daiteke eta horrek konputazio arazoak sortu; halakoetan, hein txikiagoko matrizea jatorrizkoaren hurbilpen moduan interpretatzen da.
Jatorrizko termino-dokumentu matrizean zarata egon daiteke. Ikuspuntu honetatik, hurbilpen matrizea zarata kendutako matrize moduan interpretatzen da (jatorrizkoa baino hobea).
Jatorrizko termino-dokumentu matrizea dentsitate gutxikoa izan daiteke "benetako" termino-dokumentu matrizearekin konparatuz. Izan ere, jatorrizko matrizeak dokumentuetako hitzen benetako kontaketa besterik ez du erakusten, eta ez dokumentu horiekin zerikusia izan lezaketen hitz guztiena— sinonimia dela eta askoz ere hitz gehiago izan daitezke.

Dimentsioa murriztearen ondorioz hainbat dimentsio konbinatzen dira:

{(auto), (kamioi), (lore)} --> {(1.3452 * auto + 0.2828 * kamioi), (lore)}

Horrek sinonimiaren arazoa leuntzen du, antzeko esanahia duten terminoak adieraziko dituzten dimentsioak sor daitezkeelako dimentsio murrizketari esker. Polisemia fenomenoarekin sortzen den arazoa ere neurri batean konpontzen da, noranzko "egokian" dauden hitz polisemikoen osagaiak antzeko esanahia duten hitzen osagaiekin batzen direlako.

Deskribapena[aldatu | aldatu iturburu kodea]

Izan bedi $X$ matrizea non matrizeko $(i,j)$ elementuak i. terminoa j. dokumentuan zenbat aldiz agertzen den adierazten duen, maiztasuna alegia. $X$

{\begin{matrix}&{\textbf {d}}_{j}\\&\downarrow \\{\textbf {t}}_{i}^{T}\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,n}\\\vdots &\ddots &\vdots \\x_{m,1}&\dots &x_{m,n}\\\end{bmatrix}}\end{matrix}}

Matrizeko i. errenkada {\textbf {t}}_{i} terminoari dagokion bektorea da eta dokumentuekin duen erlazioa adierazten du:

{\textbf {t}}_{i}^{T}={\begin{bmatrix}x_{i,1}&\dots &x_{i,n}\end{bmatrix}}

Era berean, j. zutabea j. dokumentuaren bektore-adierazpena da eta dokumentuak terminoekin duen erlazioa ematen du:

{\textbf {d}}_{j}={\begin{bmatrix}x_{1,j}\\\vdots \\x_{m,j}\end{bmatrix}}

Aljebra linealeko teoriaren arabera matrizea beste hiru matrizeren biderketa moduan deskonposa daiteke, eta matrize ortogonalak eta matrize diagonala izanik. Deskonposaketa horri Balio Singularretan Deskonposatzea (SVD) esaten zaio:

Deskonposaketa horrela ikus daiteke:

{\begin{matrix}&X&&&U&&\Sigma &&V^{T}\\&({\textbf {d}}_{j})&&&&&&&({\hat {\textbf {d}}}_{j})\\&\downarrow &&&&&&&\downarrow \\({\textbf {t}}_{i}^{T})\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,n}\\\\\vdots &\ddots &\vdots \\\\x_{m,1}&\dots &x_{m,n}\\\end{bmatrix}}&=&({\hat {\textbf {t}}}_{i}^{T})\rightarrow &{\begin{bmatrix}{\begin{bmatrix}\,\\\,\\{\textbf {u}}_{1}\\\,\\\,\end{bmatrix}}\dots {\begin{bmatrix}\,\\\,\\{\textbf {u}}_{l}\\\,\\\,\end{bmatrix}}\end{bmatrix}}&\cdot &{\begin{bmatrix}\sigma _{1}&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\sigma _{l}\\\end{bmatrix}}&\cdot &{\begin{bmatrix}{\begin{bmatrix}&&{\textbf {v}}_{1}&&\end{bmatrix}}\\\vdots \\{\begin{bmatrix}&&{\textbf {v}}_{l}&&\end{bmatrix}}\end{bmatrix}}\end{matrix}}

$\sigma _{1},\dots ,\sigma _{l}$ balio singularrak dira eta $u_{1},\dots ,u_{l}$ eta $v_{1},\dots ,v_{l}$ ezker- eta eskuin-bektore singularrak. $U$ matrizean ${\textbf {t}}_{i}$ terminoari ekarpena egiten dion errenkada bakarra $i{\textrm {'th}}$ da. Errenkada-bektore hori ${\hat {\textrm {t}}}_{i}^{T}$ notazioaz adieraziko dugu. Modu berean, $V^{T}$ matrizean ${\textbf {d}}_{j}$ dokumentuari ekarpena $j{\textrm {'th}}$ zutabeak egiten dio, ${\hat {\textrm {d}}}_{j}$ .

Balio handieneko balio singularrak eta haiei eta matrizeetan dagozkien bektore-singularrak hautatzean, heina duen errore txikieneko hurbilpen-matrize bat kalkula daiteke matrizearentzat (Frobenius norma). Termino-bektoreak eta dokumentu-bektoreak dimentsio murriztuko espazioan erabiltzeko aukera ematen du horrek (espazio semantikoan). errenkada-bektorearen osagaiek terminoaren proiekzioa ematen dute dimentsio murriztuko espazioan. Dimentsio berri horiek ez dira berehalakoan interpretatzeko moduko kontzeptuak izaten. Era berean, "dokumentu"-bektorea jatorrizkoaren hurbilpen bat da dimentsio murriztuko espazioan. Hurbilpen-matrizea honela idatz daiteke:

References[aldatu | aldatu iturburu kodea]

↑ doi:10.1002/aris.1440380105..
↑ .
↑ Markovsky I. (2012) Low-Rank Approximation: Algorithms, Implementation, Applications, Springer, 2012, ISBN 978-1-4471-2226-5 ^{[page needed]}

Kanpo estekak[aldatu | aldatu iturburu kodea]

Datuak: Q1806883

[1] :10.1002/aris.1440380105..

[2] .

[3] Markovsky I. (2012) Low-Rank Approximation: Algorithms, Implementation, Applications, Springer, 2012, ISBN 978-1-4471-2226-5 ^{[page needed]}

[1]

[2]

[3]