Transformer1 [Transformer] Positional Encoding 해당 글은 아래의 참고문헌을 각색한 글입니다. 그림들의 저작권은 해당 저작자들에게 있습니다.1. Input embedding💡 input embedding 이라 함은, 입력된 문장을 컴퓨터가 이해할 수 있는 행렬 값으로 변환하는 작업을 말한다.“This is my car”라는 문장이 있다. 이 문장에 대해서 string 형태로 넣는다면 모델은 해당 단어가 어떤 단어인지 모른다. 따라서 우리는 “단어” → “숫자”를 해줄 수 있는 embedding matrix를 만들어야한다. 그래서 “This is my car”라는 문장을 embedding matrix와의 연산을 통해 [3412, 5281, 6899, 8678]이라는 embedding vector가 만들어졌다.여기서는 문장의 길이가 4개라서 4차원 벡터.. 2024. 10. 9. 이전 1 다음
