Seonglae Cho목표
- 다양한 reader ReSRer Vessl TGI
- llama2
- 메인 claim scope 와 experiment 를 명확히
- Reader 와 Summarizer FP, FN 알맞은 용어와 condition으로 변경
- Main 테이블 구조 잡기
- 캐싱전략 추가해야
- 일반 요약하고도 비교
관련 연구
현상황 파악
- 시간적 한계로 ACL short paper 타겟으로 트레이닝 없이 프롬프팅으로 진행
방향성 교정
- Summarizer로 줄글 summary가 아니라 bullet point같은 structured summary로 rewriting 하는 방향으로 해서 차별성 부여
- ex. passage 별로 bullet point 요약을 생성하거나 passages들을 합해서 개념별 document로 재구성해서 요약
- Prompting해서 answer span이 summarizer에서 없어지는 문제를 최소화하는 방향으로 case study해가며 성능 개선
진행 방안
- Structured summary를 만드는 프롬프팅으로 QA성능 올릴 수 있는지 확인 후 공유 (오늘 밤 중)
- Summarizer의 answer span 유무 비율 그래프 공유 (오늘 오후 중)
- 이후 메인 테이블에 데이터셋, Reader, Retriever 실험 추가해가며 진행