takie moje „opracowanie” LSA z 2006.07.10 znalazłem

Latent semantic analysis – technika wykorzystywana w NLP, szczególnie w semantyce wektorowej.

Mamy macierz terminy X dokumenty np. tf-idf, LSA zamienia ją na terminy X koncepty oraz dokumenty X koncepty – mamy pośrednią zależność terminy-dokumenty na poziomie pojęć!

Możemy:

  • Clustering, classification
  • synonymy and polysemy (synonimia, homonimia) – a antonimia nie😉
  • IR (przenosimy query w concept space)

Zmniejszamy macierz (łączymy wymiary –

{(car), (truck), (flower)} –> {(1.3452 * car + 0.2828 * truck), (flower)}), bo jest:

  • za duża
  • zaszumiona
  • za rzadka 

Iloczyn skalarny wektorów terminów – korelacja terminów

Iloczyn macierzowy (macierz przez siebie samą) zawiera wszystkie korelacje (jest macierzą)

Tej macierzy robimy SVD (Singular Value Decomposition)  – rozkładamy na: 2 ortonormalne (odwrócone – ich iloczyn daje I – jednostkową) i diagonalną (U:E:VT).

W macierzach jednostkowych U i V mamy w wierszach (wektorach) relacje termin-pojęcie i dokument-pojęcie.

Możemy:

  • Clustering dokumentów – Porównywać 2 wiersze V na poziomie pojęć (zwykle przez podobieństwo kosinusowe)
  • Clustering terminów – Porównywać 2 wiersze U
  • Wyszukać dokumenty tworzyć z pytania minidoc

 

http://en.wikipedia.org/wiki/Latent_semantic_analysis

http://lsi.research.telcordia.com/lsi/papers/JASIS90.pdf  (1990)

Probabilistic Latent Semantic Analysis – jak LSA, tylko zamiast SVD robimy dekompozycję „derived from a latent class model.” – mniej złożone obliczeniowo, lepsze wyniki – dobra podstawa statystyczna

 

http://en.wikipedia.org/wiki/Probabilistic_latent_semantic_analysis

http://www.cs.brown.edu/people/th/papers/Hofmann-UAI99.pdf (1999)

Skomentuj

Please log in using one of these methods to post your comment:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s


%d bloggers like this: