Long-term dependency

예전에 이 그룹에 Gemini가 어떻게 이 문제를 해결했는지 궁금하다고 썼었는데, Gemini 1.5 Pro는 아예 100M 길이의 context에 대해서도 추론이 된다고 하죠. 대단한 발전이라고 할 수 있는데, 이에 대해서 글을 하나 써 보고자 합니다. 오래 전부터 딥 러닝이 해결하고자 했지만 잘 하지 못하고 있었던 숙제를 하나 꼽으라면, Long...