transformer 썸네일형 리스트형 [논문리뷰] Transformer: Attention is all you need 1. Introduction 기존 RNN, LSTM, GRU 같은 recurrent 구조는 언어 모델링과 번역 등 시퀀스 모델링/변환 작업에서 SOTA를 기록해왔습니다. 하지만 순차 연산은 병렬 처리가 어렵고 학습 속도가 느리며, 긴 시퀀스에 대한 학습에서 메모리와 연산 효율에 한계가 있습니다. Attention은 RNN과 함께 사용되고, 독립적으로 사용하는 경우는 드물었습니다. 본 논문에서 RNN이나 CNN 없이 오직 Attention에만 의존한 Transformer 모델을 제안합니다. Transformer는 병렬화가 뛰어나고, 기계 번역에서 새로운 SOTA를 달성했습니다. 한 마디로 Transformer는 입력 전체의 관계를 병렬로 계산하는 Self-Attention 기반 모델로, 장기 의존성과 확장.. 더보기 이전 1 다음
