Next Token Prediction

Creator

Creator

Seonglae Cho

Created

Created

2023 Jul 17 9:40

Editor

Editor

Seonglae Cho

Edited

Edited

2024 Oct 31 11:22

Refs

Refs

Behavior Cloning

Predictive learning

Future Prediction

Sequence learning

Autoregressive Model

Text Generation, Token generation,
Causal language model

우리는 대화를 하면서 발화 맥락을 기준으로 다음 단어를 내뱉는다

그 과정은 의식할 때도 있고 의식하지 않을 때도 있는 의식 과 무의식 시이 어딘가

Ilya Sutskever 는 SEO전문가에서 Search input에서 다음 단어 예측의 중요성을 깨닫는다

이 과정은 인간 의식의

AI Function Imitation 이다

Back Propagation 도

Neuroplasticity 의 기능모방이다

Text Generation Notion

Text Generation Temperature

Generic Language Model

Instruction Tuned Model

The Reversal Curse

Trivial for inverse unavailable function

owainevans.github.io

https://owainevans.github.io/reversal_curse.pdf

Multi Token Prediction

facebook/multi-token-prediction · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

facebook/multi-token-prediction · Hugging Face

https://huggingface.co/facebook/multi-token-prediction

facebook/multi-token-prediction · Hugging Face

Recommendations

///////