Seonglae Cho회의 내용
- QFS, AutoCompress, LLMLingua 같이 비슷한 연구들 많다
- 우리 work는 compression이 아니라 Summarization (related work 정도에만)
- 성능 테스트는 효과적으로 topk 4->1 에 대해서 같은 모델의 topk 16일 때와 비슷하게 나왔다
- 논문 컨셉을 중요한 내용은 유지하고 noise는 없에며 dynamic하게 핵심 요약해주는 모델
방향성 교정
- 고려하지 않을 Reader
- Context extending 모델들과 비교는 필요할수도
- FiD reader 에 적용되는거보단 LLM reader 위주로
- GPT api 와 Open source LLM reader위주
- 메인 claim scope 와 experiment 를 명확히 하고 가자
- Machine readability 용어 애매하고 그냥 qa점수로
진행 방안
- QFS 를 중심으로 readability 높은 ODQA summarizer 제안
- Reader 와 Summarizer FP, FN 알맞은 용어와 condition으로 변경
- Main 테이블 구조 잡기 (구글 스프레스시트에서 토의)
- 비교대상: reranking, summarizer 없는 경우
- retriever 다양하게 하기 BM25 기본과 추가로 뭐할지 (MDR?)
- QA dataset 다양하게
- ODQA task 여러개 추가와 Multi-hop 몇개
- (retrival, gpt summarizer) 두가지에는 cache 적용할 수 있으니 빠른 테스트위해 코드변경
- Recursive하게 summarizer 적용할수 있다는 것 정도만 별개 테이블에서 보여주기
다음회의 1/26일 11AM