자연어처리 : 카운트 기반의 단어 표현

단어의 표현 방법

• 국소 표현 (Local Representation) : 단어 그 자체만을 보고 특정 값에 mapping 하는 방법
• ex) puppy -> a[0], cute ->a[1], lazy ->a[2], turtle -> a[3]
• 분산 표현 (Distributed Representation) : 단어 주변을 참고하여 단어를 표현하는 방법
• ex) puppy와 cute는 상관관계가 존재, 따라서 vector(1,0), (0.9,0.1) // turtle와 lazy는 vector (0,1), (0.1, 0.9)

구조

Structure

 

우리는 자연어처리에서 예측을 기반으로하는 FastText를 주로 학습할 것이고, 예측과 카운트 두 가지 방법이 모두 사용된 GloVe를 학습할 것이다.