Token generation, Causal language model, Next Token Prediction우리는 대화를 하면서 발화 맥락을 기준으로 다음 단어를 내뱉는다그 과정은 의식할 때도 있고 의식하지 않을 때도 있는 의식 과 무의식 시이 어딘가Ilya Sutskever 는 SEO전문가에서 Search input에서 다음 단어 예측의 중요성을 깨닫는다이 과정은 인간 의식의 AI Function Imitation 이다 Back Propagation 도 Neuroplasticity 의 기능모방이다Text Generation NotionText Generation TemperatureGeneric Language ModelInstruction Tuned ModelThe Reversal Curse Trivial for inverse unavailable functionowainevans.github.iohttps://owainevans.github.io/reversal_curse.pdf
Alan Jo