언어모델1 자연어처리 : 언어 모델 (Language Model) 정의 단어 시퀀스에 확률을 할당하는 일을 한다. 즉, 가장 자연스러운 단어 시퀀스를 찾아내는 모델이다. 언어모델링은 가장 자연스러운 단어 시퀀스를 찾아내는 작업이다. 이전 단어들로부터 다음 단어를 예측하는 일이다. 다른 말로 문법이라고도 말한다. 통계를 이용한 방법 인공 신경망을 이용한 방법 : GPT, BERT 1. 언어모델의 역할 : 단어 시퀀스의 확률 할당 a. 기계 번역 (Machine Translation) P( 나는 버스를 탔다 ) > P( 나는 버스를 태운다 ) : 좌측의 문장일 확률이 높다고 판단한다. b. 오타 교정 (Spell Correction) P( 달려갔다 ) > P( 잘려갔다 ) : 좌측의 문장일 확률이 높다고 판단. c. 음성 인식 (Speech Recognition) P(나는.. 2020. 3. 5. 이전 1 다음