Seonglae Choensuring factual conssitency
csv
- text
- target
- Minimized AI hallucination by decomposing sentences into smaller units and recomposing them.
- Boosted OpenIE5’s triple extraction speed by 300% combining a reverse proxy with container replica.
Limitation
트리플에 기반하여 사실관계에만 집중하여 더 본문에 정보에 기반한 요약을 한다. 하지만 관계에만 기반하다보니 어조를 나타내는 단어를 다른 abstractive 에 비해 잘 의도를 못읽어내는 것 같다
- 반복되지 않는 정보는 중요하지 않게 판단된다
- 뒤에 있는 정보가 중요하게 판단되기 쉽지 않다 (선형적 판단)
Video demonstration script
Hello everyone, I'm Alan, and I will show you the demo of Relation Triple Summarization.
Firstly, in this AI summarization demo, you can paste your target text into this box.
After pasting the text, you can hit Control-Enter then you will see below the final summary.
We have implemented a multi-level visualization that breaks down the document into sentences, phrases, and relation triples.
In this visualization, the module highlights the top 5 key sentences in yellow, the top 15 phrases in green, and the 7 most important relation triples in red.
For example, in this case, the most prominent phrase is highlighted as 'temperature', and the most critical relation triples are in second paragraph.
You can control the number of highlighted elements like this. and toggle sentence components such as adverbs or objects like this.
This demonstration also aims to improve the summarization app experience by highlighting these intermediate results, providing a quick overview at a glance.
This information is interpretable for humans and explains the final summary well, as it is composed of them.
So that’s the end and Thank you for watching our demonstration!
Hello everyone, I'm Alan, and today I'll demonstrate Relation Triple Summarization.
In this AI summarization demo, you can paste your target text into the provided box.
After pasting the text, press Control-Enter, and you'll see the final summary appear below.
RTSum breaks down the provided document into sentences, phrases and relation triples. For these elements, we've implemented a multi-level visualization.
The salience scores for each element are computed within our framework and displayed as opacity.
This visualization highlights the top five key sentences in yellow, the top 15 phrases in green, and the top seven relation triples in red.
For instance, in this case, the most prominent phrase is highlighted as "temperature," and the most critical relation triples are found in the second paragraph.
You can control the number of highlighted elements like this
and toggle sentence components, such as adverbs or others, like this.
This demonstration also aims to enhance the summarization app experience by highlighting these intermediate results, providing a quick overview.
This information is easily interpretable and explains the final summary, as it is verbalized from the top-k relation triples.
So that’s the end and Thank you for watching our demonstration!
과제
AI 요약 모델에게 주어진 텍스트 내에서, 핵심 사실 관계 파악 후 요약문 내에 해당 정보를 유지하는 것은 핵심 가치이다. 언어모델이 지니는 환각 현상은 이 목표와 상충하기 때문에 환각 현상을 최소화하는 AI 요약 프레임워크 RTSum를 설계했다. 1) 주어진 텍스트를 OpenIE 라이브러리를 사용하여 문장, Relation Triple, 그리고 POS 로 태그된 구까지 계층적으로 분해한다. 2) 텍스트 임베딩 모델을 사용하여 추출된 문장간 유사도 그리고 Relation Triple간 사이의 문맥적 유사도를 코사인 유사도로 계산하여 합산하여 중요도를 계산한다. 3) 분해된 구의 경우는 TextRank 알고리즘을 적용하여 중요도를 계산한다. 4) 3가지 계층의 중요도를 hyperparameter를 두고 합산하여 최종 Relation Triple 의 중요도를 계산한다. 5) 선택된 top-k Relation Triple 을 Language Model 에게 제공하여 최종 요약을 생성한다.
위 프레임워크에서 환각 현상을 최소화하기 위해 사실 정보의 기본 단위인 Relation Triple 단위로 구분하고 이 중에서 중요한 정보만 언어 모델을 통해 요약하는 방식을 고안했다. 이는 기존의 언어 모델을 통한 Abstractive 요약 방식을 Extractive 요약 방식과 유기적으로 결합한 결과이다. 또한 요약 태스크의 특성을 활용하여 앞부분 문장의 중요도를 고려하기 위해 문장 레벨에서의 코사인 유사도를 자기회귀적 관게에 있는 이후 문장의 점수만 합산하였다. 결과적으로 RTSum은 요약 도메인 지식과 인공지능 언어 모델 그리고 전통적 NLP 태크닉을 결합하여
AI 요약 태스크에서 주어진 텍스트 내에서 핵심 사실 관계를 파악한 후, 요약문 내에 해당 정보를 유지하는 것은 주요 목표이다. 언어 모델을 활용하여 AI 요약을 생성할 때 언어모델이 지니는 환각 현상이 이 목표와 상충하기 때문에, 환각 현상을 최소화하는 AI 요약 프레임워크 RTSum을 설계하였다.
- 주어진 텍스트를 OpenIE 라이브러리를 사용하여 문장, Relation Triple, 그리고 POS로 태그된 구까지 계층적으로 분해한다.
- 텍스트 임베딩 모델을 사용하여 추출된 문장 간 유사도와 Relation Triple 간의 문맥적 유사도를 코사인 유사도로 계산한 후 합산하여 중요도를 산출한다.
- 분해된 구에 대해서는 TextRank 알고리즘을 적용하여 중요도를 계산한다.
- 세 가지 계층의 중요도를 하이퍼파라미터를 고려하여 합산한 후 최종 Relation Triple의 중요도를 산출한다.
- 선택된 top-k Relation Triple을 언어모델에게 제공하여 최종 요약을 생성한다.
설계한 RTSum 프레임워크의 실효성을 검증하기 위해, 5번 스텝에 해당하는 언어 모델을 Fine-Tuning 하였다. 주어진 Relation Triple로부터 문장을 사실관계를 유지하며 재구성하도록 비지도학습을 적용하였으며, 이를 통해 연구 목표에 부합하는 학습을 진행하였다. 비지도학습 완료 후에는 벤치마크 요약 데이터에 대해 최종 ROUGE 지표를 측정하여 실험 결과를 확인하였다. 또한, 세 가지 레벨의 중요도를 합산할 때 적절한 비율을 찾기 위해 validation data를 활용해 하이퍼파라미터를 비교 및 튜닝하였다. 이 과정에서 OpenIE가 병목현상을 일으킨다는 것을 확인하고, Docker를 이용해 분산 서버에 병렬 요청을 보내 효율적인 실험 환경을 구축하였다.
또한, 이 프레임워크의 장점 중 하나는 요약 생성 과정이 해석 가능하다는 점이다. 요약 과정에서 판단되는 문장, Relation Triple, 그리고 문장 내 구의 중요도가 명시적으로 매겨지며, 이를 시각화하여 한눈에 파악할 수 있도록 하였다. 중요도에 따라 해당 텍스트 부분에 하이라이트를 적용함으로써 최종 요약 결과와의 일관성을 쉽게 확인할 수 있는 데모 페이지를 제작하였다. 세 가지 레벨은 서로 다른 색상과 투명도로 표시되어, 주어진 텍스트의 구조를 직관적으로 이해하는 데에도 도움을 준다. 이 데모는 최종적으로 논문이 NAACL 데모 트랙에 개제되는 성과로 이어졌다.
위 프레임워크에서는 환각 현상을 최소화하기 위해 사실 정보의 기본 단위인 Relation Triple 단위로 구분하고, 이 중에서 중요한 정보만을 언어 모델을 통해 요약하는 방식을 고안하였다. 이는 기존 언어 모델을 통한 Abstractive 요약 방식을 Extractive 요약 방식과 유기적으로 결합한 결과이다. 또한, 요약 태스크의 특성을 활용하여 앞부분 문장의 중요도를 고려하기 위해 문장 레벨에서의 코사인 유사도를 자기회귀적 관계에 있는 이후 문장의 점수만 합산하였다. 결과적으로 RTSum은 요약 도메인 지식, 인공지능 언어 모델, 그리고 전통적 NLP 태크닉을 결합하여 신뢰성 있는 요약을 제공한다.