Seonglae Chocontext extending 은 sparse attention을 통해 많이 고려되지만 context shortening에 대한 연구는 부족하다
이는 computing 비용효율적으로 더 중요하고 noise를 제거할 수 있는 방향으로 RAG를 활용하는 어떤 task에서도 중요하다
Prompt Learning 보다 더 task general하고 high level task에서도 실질적인 효율을 가져다 줄 수 있다
Abstract
LLM은 Question Answering과 Reasoning 등 다양한 태스크에서 강력한 성능을 보여주지만, Transformer구조 특성상 제한된 길이의 컨텍스트만 고려할 수 있다는 단점이 있다. 이런 한계 때문에 최근 Sparse Attention와 같은 기법으로 Context Extending 시도는 있지만 Context Shortening에 대한 연구는 부족하다. 컨텍스트를 줄이면서 같은 성능을 낸다면 computing 리소스 효율적이고, 특히 RAG에서 잘못 retrieval된 noise를 제거하는 효과를 가져올 수 있다. 요약은 문서의 핵심 정보를 보존하면서 더 짧은 버전의 텍스트를 생성하는 태스크이다. (Narayan et al., 2018) 본 연구에서는 요약의 특성을 활용해 Open-Domain Question Answering에서 Summarizer 모델을 Reader와 Retriever 사이에 추가시, 전체 QA pipeline 성능 하락 없이 요약된 컨텍스트를 Reader에게 제공하는 ReSRer 구조를 제안한다.