Ai3 [Transformer] Positional Encoding 해당 글은 아래의 참고문헌을 각색한 글입니다. 그림들의 저작권은 해당 저작자들에게 있습니다.1. Input embedding💡 input embedding 이라 함은, 입력된 문장을 컴퓨터가 이해할 수 있는 행렬 값으로 변환하는 작업을 말한다.“This is my car”라는 문장이 있다. 이 문장에 대해서 string 형태로 넣는다면 모델은 해당 단어가 어떤 단어인지 모른다. 따라서 우리는 “단어” → “숫자”를 해줄 수 있는 embedding matrix를 만들어야한다. 그래서 “This is my car”라는 문장을 embedding matrix와의 연산을 통해 [3412, 5281, 6899, 8678]이라는 embedding vector가 만들어졌다.여기서는 문장의 길이가 4개라서 4차원 벡터.. 2024. 10. 9. Ai : Meta Learning 흔히 우리는 metadata, 메타데이터 라는 말을 쓰곤 한다. 여기서 말하는 metadata는 데이터에 대한 데이터를 의미한다. 이게 무슨말인지 밑에서 설명하겠다. 인류 최초의 메타데이터는 도서관의 서적 관련 정보를 정리해놓은 책이다. 이 책을 보면, 저자, 만든 날짜, 책의 수량 등등 각각 책에 관련된 정보가 적혀져 있는 정보가 모인 책이다. 우리가 흔히 쓰는 metadata를 보면, 데이터에 관한 정보가 담겨져 있는 구조화된 데이터이며, 다른 데이터를 설명해주는 데이터이다. 어떤 데이터를 분석, 분류하기 위해 만들어진 데이터라고 보면 된다. 왜 Meta Learning을 해야하는가? Meta Learninig이 왜 중요한가? supervised learning일 때를 가정하면, labeling 되어.. 2020. 8. 28. Ai : Few shot Learning Few Shot Learning은 적은 데이터를 학습하더라도 좋은 성능을 내도록 하는 학습방법이다. 이제 이 획기적인 방법에 대해서 포스팅을 할 예정이다. 왜 Few Shot Learning을 해야하는가? 우리 인간은 적은 데이터를 학습하더라도, 실제로 적은 데이터 기반으로 문제를 풀 수 있다. 하지만, 기계는 인간처럼 소량의 데이터만으로도 놀라운 학습 능력을 갖출 수는 없을까? 이에 대한 답을 내는 것이 바로 Few Shot Learning 이다. Few Shot Learning은 meta learning을 기반으로 하는 학습방법이다. 2020/08/28 - [AI] - Ai : Meta Learning Ai : Meta Learning 흔히 우리는 metadata, 메타데이터 라는 말을 쓰곤 한다. .. 2020. 8. 28. 이전 1 다음
