Seonglae ChoRecall-Oriented Understudy for Gisting Evaluation
n-gram Recall based
- machine translation
ROUGE score가 대체로 인간의 판단과 양의 상관관계를 보여서 summarization같은 high level 과제에서 좋은 성능ROUGE는 다양한 길이의 Sequence에서 stability and reliability
- ROUGE-N
- ROUGE-L
- ROUGE-W
- ROUGE-S
- ROUGE-SU
- ROUGE-N-precision
ROUGE: A Package for Automatic Evaluation of Summaries
Chin-Yew Lin. Text Summarization Branches Out. 2004.
https://aclanthology.org/W04-1013/
[자연어처리][Metric] ROUGE score : Recall-Oriented Understudy for Gisting Evaluation
ROUGE ROUGE(Recall-Oriented Understudy for Gisting Evaluation)는 text summarization, machine translation과 같은 generation task를 평가하기 위해 사용되는 대표적인 Metric입니다. 본 글의 내용은 ROUGE score에 관한 논문인 https://aclanthology.org/W04-1013/를 참고하여 작성되었습니다. Machine translation에서 주로 사용하는 BLEU가 n-gram Precision에 기반한 지표라면, ROUGE는 이름 그대로 n-gram Recall에 기반하여 계산됩니다. 우선 N-gram에 대한 ROUGE-N은 다음과 같습니다. $$ROUGE-N = {{\sum_{S\in \{..
![[자연어처리][Metric] ROUGE score : Recall-Oriented Understudy for Gisting Evaluation](https://t1.daumcdn.net/tistory_admin/favicon/tistory_favicon_32x32.ico)
https://supkoon.tistory.com/26
![[자연어처리][Metric] ROUGE score : Recall-Oriented Understudy for Gisting Evaluation](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FpAy2P%2Fbtq9xLOWlGL%2Fby9VeIz5MUtPA10aIBc1R0%2Fimg.png)