ROUGE Metric

Creator

Creator

Seonglae Cho

Created

Created

2023 May 8 14:48

Editor

Editor

Seonglae Cho

Edited

Edited

2023 May 24 13:18

Refs

Refs

Recall-Oriented Understudy for Gisting Evaluation

n-gram Recall based

AI Summarization

machine translation

ROUGE score가 대체로 인간의 판단과 양의 상관관계를 보여서 summarization같은 high level 과제에서 좋은 성능ROUGE는 다양한 길이의 Sequence에서 stability and reliability

ROUGE-N

ROUGE-L

ROUGE-W

ROUGE-S

ROUGE-SU

ROUGE-N-precision

ROUGE: A Package for Automatic Evaluation of Summaries

Chin-Yew Lin. Text Summarization Branches Out. 2004.

https://aclanthology.org/W04-1013/

ROUGE: A Package for Automatic Evaluation of Summaries

[자연어처리][Metric] ROUGE score : Recall-Oriented Understudy for Gisting Evaluation

ROUGE ROUGE(Recall-Oriented Understudy for Gisting Evaluation)는 text summarization, machine translation과 같은 generation task를 평가하기 위해 사용되는 대표적인 Metric입니다. 본 글의 내용은 ROUGE score에 관한 논문인 https://aclanthology.org/W04-1013/를 참고하여 작성되었습니다. Machine translation에서 주로 사용하는 BLEU가 n-gram Precision에 기반한 지표라면, ROUGE는 이름 그대로 n-gram Recall에 기반하여 계산됩니다. 우선 N-gram에 대한 ROUGE-N은 다음과 같습니다. $$ROUGE-N = {{\sum_{S\in \{..

https://supkoon.tistory.com/26

[자연어처리][Metric] ROUGE score : Recall-Oriented Understudy for Gisting Evaluation

Recommendations

///////