Seonglae ChoAbstractive Non-Deterministic Turing Machine with probability
Autoregression is a statistical technique that uses past values to predict future values in a time series. It's a regression of a variable against itself.
용어상 헷갈리는 건 현재 토큰 이후의 토큰들에 대한 정보가 고려되지 않도록, Masked Attention이 Bidirectional LM과 반대로 여겨진다. 중요한 건 단방향성/양방향성
Autoregressive Model Notion