Seonglae ChoContext Extender
동적으로 query를 input으로 받아서 전체 high level tree embedding에서 expand 시키는 레이어
heuristic approach
가장 naive한 접근은 heuristic approach인데
- Code
- folder.file.AST
- Normal text
- document.page.paragraph
- chat
- message.normal
2. perplexity approach
좀 다른내용 나올 때 perplexity 나올 거라는 예측
방향성
Activation Beacon 처럼 RNN으로 next context token이 이전 context token에 의존하면 안된다
즉 shrinking이 parallel하게 일어나야 한다는 점이 핵심
그런 점에서 perplexity는 parallel안된다는 점에서 context window로 그냥 static하게 잘라서 activation beacon하는 건 확실히 좋은 방식같다
Pooling 전략
마지막 토큰 사용 like Activation Beacon