Ezkutuko semantikaren analisia

LSAk termino bakoitzeko errenkada bat eta dokumentu bakoitzeko zutabe bat dituen termino-dokumentu matrize bat eraikitzen du. Terminoek dokumentuetan duten agerpen maiztasuna adierazten da bertan; dentsitate gutxiko matrize bat izaten da. Maiztasunen matrizeko elementuak eraldatu egiten dira tf-idf (term frequency–inverse document frequency) ponderazio ereduaren bidez, adibidez: matrizeko elementuen ponderazioa terminoak dokumentuan duen agerpen maiztasunarekiko proportzionala da, dokumentu gutxitan agertzen diren terminoen ponderazioa igo egiten delarik haien garrantzia erlatiboa erakusteko asmoz.

Matrizea sortu ondoren, hein txikiagoko hurbilpen[3] matrize bat kalkulatzen du LSAk. Hainbat arrazoi egon daitezke horretarako:

• Jatorrizko termino-dokumentu matrizea oso handia izan daiteke eta horrek konputazio arazoak sortu; halakoetan, hein txikiagoko matrizea jatorrizkoaren hurbilpen moduan interpretatzen da.
• Jatorrizko termino-dokumentu matrizean zarata egon daiteke. Ikuspuntu honetatik, hurbilpen matrizea zarata kendutako matrize moduan interpretatzen da (jatorrizkoa baino hobea).
• Jatorrizko termino-dokumentu matrizea dentsitate gutxikoa izan daiteke "benetako" termino-dokumentu matrizearekin konparatuz. Izan ere, jatorrizko matrizeak dokumentuetako hitzen benetako kontaketa besterik ez du erakusten, eta ez dokumentu horiekin zerikusia izan lezaketen hitz guztiena— sinonimia dela eta askoz ere hitz gehiago izan daitezke.

Dimentsioa murriztearen ondorioz hainbat dimentsio konbinatzen dira:

{(auto), (kamioi), (lore)} --> {(1.3452 * auto + 0.2828 * kamioi), (lore)}

Horrek sinonimiaren arazoa leuntzen du, antzeko esanahia duten terminoak adieraziko dituzten dimentsioak sor daitezkeelako dimentsio murrizketari esker. Polisemia fenomenoarekin sortzen den arazoa ere neurri batean konpontzen da, noranzko "egokian" dauden hitz polisemikoen osagaiak antzeko esanahia duten hitzen osagaiekin batzen direlako. 

Izan bedi ${\displaystyle X}$ matrizea non matrizeko ${\displaystyle (i,j)}$ elementuak i. terminoa j. dokumentuan zenbat aldiz agertzen den adierazten duen, maiztasuna alegia. ${\displaystyle X}$

${\displaystyle {\begin{matrix}&{\textbf {d}}_{j}\\&\downarrow \\{\textbf {t}}_{i}^{T}\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,n}\\\vdots &\ddots &\vdots \\x_{m,1}&\dots &x_{m,n}\\\end{bmatrix}}\end{matrix}}}$

Matrizeko i. errenkada {\textbf {t}}_{i} terminoari dagokion bektorea da eta dokumentuekin duen erlazioa adierazten du:

${\displaystyle {\textbf {t}}_{i}^{T}={\begin{bmatrix}x_{i,1}&\dots &x_{i,n}\end{bmatrix}}}$

Era berean, j. zutabea j. dokumentuaren bektore-adierazpena da eta dokumentuak terminoekin duen erlazioa ematen du:

${\displaystyle {\textbf {d}}_{j}={\begin{bmatrix}x_{1,j}\\\vdots \\x_{m,j}\end{bmatrix}}}$

Aljebra linealeko teoriaren arabera ${\displaystyle }$ matrizea beste hiru matrizeren biderketa moduan deskonposa daiteke, ${\displaystyle }$ eta ${\displaystyle }$ matrize ortogonalak eta ${\displaystyle }$ matrize diagonala izanik. Deskonposaketa horri Balio Singularretan Deskonposatzea (SVD) esaten zaio:

${\displaystyle }$

Deskonposaketa horrela ikus daiteke:

${\displaystyle {\begin{matrix}&X&&&U&&\Sigma &&V^{T}\\&({\textbf {d}}_{j})&&&&&&&({\hat {\textbf {d}}}_{j})\\&\downarrow &&&&&&&\downarrow \\({\textbf {t}}_{i}^{T})\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,n}\\\\\vdots &\ddots &\vdots \\\\x_{m,1}&\dots &x_{m,n}\\\end{bmatrix}}&=&({\hat {\textbf {t}}}_{i}^{T})\rightarrow &{\begin{bmatrix}{\begin{bmatrix}\,\\\,\\{\textbf {u}}_{1}\\\,\\\,\end{bmatrix}}\dots {\begin{bmatrix}\,\\\,\\{\textbf {u}}_{l}\\\,\\\,\end{bmatrix}}\end{bmatrix}}&\cdot &{\begin{bmatrix}\sigma _{1}&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\sigma _{l}\\\end{bmatrix}}&\cdot &{\begin{bmatrix}{\begin{bmatrix}&&{\textbf {v}}_{1}&&\end{bmatrix}}\\\vdots \\{\begin{bmatrix}&&{\textbf {v}}_{l}&&\end{bmatrix}}\end{bmatrix}}\end{matrix}}}$

${\displaystyle \sigma _{1},\dots ,\sigma _{l}}$ balio singularrak dira eta ${\displaystyle u_{1},\dots ,u_{l}}$ eta ${\displaystyle v_{1},\dots ,v_{l}}$ ezker- eta eskuin-bektore singularrak. ${\displaystyle U}$ matrizean ${\displaystyle {\textbf {t}}_{i}}$ terminoari ekarpena egiten dion errenkada bakarra ${\displaystyle i{\textrm {'th}}}$ da. Errenkada-bektore hori ${\displaystyle {\hat {\textrm {t}}}_{i}^{T}}$notazioaz adieraziko dugu.  Modu berean, ${\displaystyle V^{T}}$ matrizean ${\displaystyle {\textbf {d}}_{j}}$ dokumentuari ekarpena ${\displaystyle j{\textrm {'th}}}$ zutabeak egiten dio, ${\displaystyle {\hat {\textrm {d}}}_{j}}$. 

Balio handieneko ${\displaystyle }$ balio singularrak eta haiei ${\displaystyle }$ eta ${\displaystyle }$matrizeetan dagozkien bektore-singularrak hautatzean, heina ${\displaystyle }$ duen errore txikieneko hurbilpen-matrize bat kalkula daiteke ${\displaystyle }$ matrizearentzat (Frobenius norma). Termino-bektoreak eta dokumentu-bektoreak dimentsio murriztuko espazioan erabiltzeko aukera ematen du horrek (espazio semantikoan). ${\displaystyle }$ errenkada-bektorearen ${\displaystyle }$ osagaiek terminoaren proiekzioa ematen dute dimentsio murriztuko espazioan. Dimentsio berri horiek ez dira berehalakoan interpretatzeko moduko kontzeptuak izaten. Era berean, ${\displaystyle }$ "dokumentu"-bektorea jatorrizkoaren hurbilpen bat da dimentsio murriztuko espazioan. Hurbilpen-matrizea honela idatz daiteke: