ReSRer Prompt

Summary

• reader가 비슷한 단어들끼리는 헷갈려하거나 그냥 많이 나온걸로 답하는 경우가 많아서 답안을 반복해서 노출해라

• information density 혹은 answer를 위한 evidence density를 높여라 라는 게 prompt안에 명시적으로 들어가는게 나중에 글쓸때도 좋을 것 같습니다

• Without answer

방향

• 메트릭별로

• kbqa insightp

• 일정, summary em

• summary nested 돌리기

History

• 커멘트를 안주면 task specific하거나 이상한 쪽으로 흘러가서 커멘트 교정하면서 진행했다

• highlighting같이 insight있는 기법을 제안하기도 했다

• 점수가 안올라 backtracking 이나 machine readability 등의 키워드 활용했는데 효과 없었다

• 많은 프롬프트 결과 보니 summary_recall과 summary_length가 em 과 correlation 중요했다

• 길이 제한 없이 하면 너무 짧아져서 길이 최소한과 의도적으로 어느정도 늘이는 게 성능에 좋았다 (NQ의 경우 200정도 되야 좋았음)

• 또 너무 늘리면 잘 안되니까 중간 tradeoff

• https://chat.openai.com/c/8342eaae-ed01-48d7-8292-e846c56fe386

• https://chat.openai.com/c/39022c12-41da-48b1-bbe5-f5b91c3040b2