SVD2 자연어 처리 : Topic Modeling : 잠재의미분석 (LSA) 배경 Pizza vs Hamburger 를 비교해보자. Back of Words 로 비교해보면, 이 둘은 관계가 없다. TD-IDF 로 비교해보면, 같은 단어가 없기 때문에 이 둘도 서로 유사도가 없다. 하지만, 이 둘은 food라는 topic으로 모일 수 있고, 단어 기반의 vector이기 때문이다!!, Topic 기반이 아니기 때문이다. LSA는 Topic 기반으로 한다. 이를 위한 대안으로 DTM의 잠재된(Latent) 의미를 이끌어내는 방법으로 잠재 의미 분석(Latent Semantic Analysis, LSA)이라는 방법이 있다. 1. SVD (Singular Value Decomposition) 2020/03/06 - [machine_learning/natural language] - 자연어.. 2020. 3. 12. 자연어 처리 : SVD 정리 선형대수학에서 실제로 SVD하는 과정은 꼭 익혀보길 바란다. 공돌이의 수학노트에서 원형에서 타원형으로 했을 때, x,y가 Ax,Ay로 변할 때 수직인 부분만 관찰한 것을 기억하자. https://www.youtube.com/watch?v=cq5qlYtnLoY U,V 는 정규직교벡터이며, 단위벡터라고 정의하였다. scaling vector가 0이라는 것은 선형변환을 진행하고 나서 그 해당하는 부분의 영향이 0으로 없어졌다는 의미이다. 그리고 scaling vector는 σi = |Avi| 에 해당한다. 따라서 A 행렬에 대한 단위벡터 vi와 ui에 대한 정보량을 담고 있다. https://darkpgmr.tistory.com/106 [선형대수학 #4] 특이값 분해(Singular Value Decompos.. 2020. 3. 6. 이전 1 다음
