자연어처리 : Tagging Work

정의

태깅작업이란? 단어에 어떠한 종류의 단어인지, tagging을 하는 작업을 말한다.

개체명 인식기와 품사 태거를 만드는데, 이러한 두 작업의 공통점은 RNN의 다-대-다(Many-to-Many) 작업이면서 또한 앞, 뒤 시점의 입력을 모두 참고하는 양방향 RNN(Bidirectional RNN)을 사용한다는 점이다.

---

1. training data에 대한 이해

X와 y데이터의 쌍(pair)은 병렬 구조를 가진다는 특징을 가집니다. X와 y의 각 데이터의 길이는 같습니다.

	['EU', 'rejects', 'German', 'call', 'to', 'boycott', 'British', 'lamb']	['B-ORG', 'O', 'B-MISC', 'O', 'O', 'O', 'B-MISC', 'O']	8  (데이터의 길이)
1	['peter', 'blackburn']	['B-PER', 'I-PER']	2
2	['brussels', '1996-08-22' ]	['B-LOC', 'O']	2
3	['The', 'European', 'Commission']	['O', 'B-ORG', 'I-ORG']	3

X_train[3]의 'The'와 y_train[3]의 'O'는 하나의 쌍(pair)입니다. 또한, X_train[3]의 'European'과 y_train[3]의 'B-ORG'는 쌍의 관계를 가지며, X_train[3]의 'Commision'과 y_train[3]의 'I-ORG'는 쌍의 관계를 가진다.

 

이렇게 병렬 관계를 가지는 각 데이터는 " 각자 나타내는 단어에 대한 "정수 인코딩 과정을 거친 후,

모든 데이터의 길이를 동일하게 맞춰주기위한 패딩(Padding) 작업을 거친다.

---

2. 시퀀스 레이블링(Sequence Labeling)

위와 같이 입력 시퀀스 X = [x1, x2, x3, ..., xn] --> 레이블 시퀀스 y = [y1, y2, y3, ..., yn]를 각각 부여하는 작업을 시퀀스 레이블링 작업(Sequence Labeling Task)이라고 합니다. 태깅 작업은 대표적인 시퀀스 레이블링 작업입니다.

 

---

3. 양방향 LSTM(Bidirectional LSTM)

model.add(Bidirectional(LSTM(hidden_size, return_sequences=True)))

텍스트 분류 챕터에서는 단방향 LSTM을 사용하였지만, 이번 챕터에서는 양방향 LSTM을 사용한다.

이전 시점의 단어 정보 뿐만 아니라, 다음 시점의 단어 정보도 참고하기 위함입니다. .

양방향은 기존의 단방향 LSTM()을 Bidirectional() 안에 넣으면 된다.

인자 정보는 단방향 LSTM을 사용할 때와 동일하다. 즉, 인자값을 하나를 줄 경우에는 이는 hidden_size를 의미하며, 결과적으로 output_dim이 된다.

---

4. RNN의 다-대-다(Many-to-Many) 문제

기존 RNN의 은닉층은 모든 시점에 대해서 은닉 상태값을 출력할 수 있고 <다 대 다>, 반대로 마지막 시점에 대해서만 은닉 상태값을 출력할 수 있다 <다 대 일>. 이는 인자로 return_sequences=True를 넣을 것인지, 넣지 않을 것인지로 설정할 수 있는데 태깅 작업의 경우에는 다-대-다(Many-to-Many) 문제로 return_sequences=True를 설정하여 출력층에 모든 은닉 상태값을 보내야한다.

 

예시 - 1

하지만 이번 실습에서는 양방향 RNN을 사용할 것이므로 아래의 그림과 같다.