Seonglae Cho최종 값 (Context Vector), Attention Value
Query, Keys, Value할 때 value와 다르고 헷갈리니까 Attention output이라고 하자
Each word is also represented by a value which contains the information of that word. As a result, each context word is now represented by an attention-based attention value of all the words in the sentence.
15-01 어텐션 메커니즘 (Attention Mechanism)
앞서 배운 seq2seq 모델은 **인코더**에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, **디코더**는 이 컨텍스트 벡터를 통해서 출력 …
https://wikidocs.net/22893
