Encoder-Decoder Attention

Creator
Creator
Seonglae ChoSeonglae Cho
Created
Created
2023 Mar 5 23:49
Editor
Edited
Edited
2024 Jun 16 3:12
Refs

Encoder-Decoder Attention in
Causal language model

input과 output의 정보를 엮어주는 역할
Query : 디코더 벡터 / Key = Value : 인코더 벡터
인코더의 출력과 디코더의 현재 상태를 이용하여 디코더가 다음 단어를 예측하는 데 사용
 
 
 
 
 
 

Ablated from (Liu et al. 2018)

 
 
 

Recommendations