Ai : Meta Learning

흔히 우리는 metadata, 메타데이터 라는 말을 쓰곤 한다.

여기서 말하는 metadata는 데이터에 대한 데이터를 의미한다.

 

이게 무슨말인지 밑에서 설명하겠다.

 

인류 최초의 메타데이터는 도서관의 서적 관련 정보를 정리해놓은 책이다.

이 책을 보면, 저자, 만든 날짜, 책의 수량 등등 각각 책에 관련된 정보가 적혀져 있는 정보가 모인 책이다.

 

우리가 흔히 쓰는 metadata를 보면, 데이터에 관한 정보가 담겨져 있는 구조화된 데이터이며, 다른 데이터를 설명해주는 데이터이다. 어떤 데이터를 분석, 분류하기 위해 만들어진 데이터라고 보면 된다.

---

왜 Meta Learning을 해야하는가?

Meta Learninig이 왜 중요한가?

 

supervised learning일 때를 가정하면, labeling 되어있는 데이터를 많이 학습하면 할 수록 성능은 엄청 좋아진다. 하지만 현실 속에서는 실제로 데이터가 많이 존재하지 않을 수 도 있다. 아니 데이터가 한정적인 부분이 훨씬 많을 것이다.

따라서 우리는 데이터가 적은 환경 속에서 어떻게 하면 효율적으로 learning 할 수 있을까를 고민했고,

바로 meta learning이 해답이다.

---

도대체 Meta Learninig이 무엇인가??

그래서 Meta Learning이 무엇이냐?

 

말 그대로 data의 숨겨진 data를 학습하는 것이다.

무슨말이냐면, data가 가지는 정보들이 있을 것이다.

예를 들어 고양이 사진을 학습한다고 할 때, 우리는 고양이를 보고 고양이의 특징을 기억한 후, 다른 고양이를 볼 때, 처음 고양이 사진에서 나타난 특징들을 비교해보면서 고양이인지 아닌지를 판단한다.

여기서 이미 우리는 meta learning을 하고 있는 것이다.

 

meta learning은 학습하는 task 에 대한 다양성에 대해서 학습되어야 하고,

잠재적으로 인지되지 못한 task를 포함해서 여러 task 들의 분포상에서 최고의 성능을 낼 수 있도록 하는 학습방법이다.

(task는 supervised learning 이나 reinforcement learning에서 머신러닝으로 정의될 수 있는 모든 문제들을 말한다) 

 

task 에 대한 다양성에 대해서 복습을 해야 다른 test data가 들어와도 그 label에 맞는 data가 맞는지 다양성을 제대로 학습했다면, label 에 맞는 data임을 금방 찾을 것이다.

그리고 여러 task가 오더라도 모두 최고의 성능을 나타낼 수 있는 학습방법이어야 한다.

각 task들이 dataset D로 구성되어있는데, 여기에는 각각 feature vector들과 true label들이 포함되어있다. 이 때 optimal model parameter는 위와 같이 정의된다. 한 마디로 여러 개의 dataset 중에서 sampling 된 dataset D 에 대해서 Loss Function L세타(D)를 최소화 할 수 있는 세타 == model parameter (weight, learning rate 등등)를 찾겠다는 것이다.