Reference

Transformer Architecture: The Positional Encoding

Intro

본 글에서 Trasnformer의 Positional encoding에 대해 다루고자 한다.

What is positional encoding and Why do we need it the first palce?

• word의 순서와 위치는 언어에서 중요한 역할을 한다.
• RNN은 순서정보를 함축하고 있다.
• 그러나 Transformer는 Multi-head self-attention을 사용하기 위해 이러한 반복적인 방법을 쓰지 않는다. 이로 인해,
  • 훈련시간이 빨라졌으며,
  • 긴 문장에서의 긴 의존성을 잘 감지할 수 있다.