Encoder-Decoder Attention in Causal language model
input과 output의 정보를 엮어주는 역할
Query : 디코더 벡터 / Key = Value : 인코더 벡터
인코더의 출력과 디코더의 현재 상태를 이용하여 디코더가 다음 단어를 예측하는 데 사용
Ablated from (Liu et al. 2018)
arxiv.org
https://arxiv.org/pdf/1801.10198
Encoder-Decoder Attention
Creator
Creator
Seonglae ChoCreated
Created
2023 Mar 5 23:49Editor
Editor
Seonglae ChoEdited
Edited
2024 Jun 16 3:12Refs
Refs
Cross-Attention