Dot-Product Attention

Luong Attention

query와 key 사이의 유사도를 구하는 스코어 함수를 dot product 사용하는 경우

• dot

• scaled dot

• general

• location - base

어텐션 메커니즘 (Attention Mechanism) : Seq2Seq 모델에서 Transformer 모델로 가기까지

Reinventing the Wheel

https://heekangpark.github.io/nlp/attention