Seonglae ChoDense Passage Retrieval
Dense 기반 OBQA, KBQA에서 폭넓게 사용
Contrastive Learning 과 비슷하게 훈련
Dense Retrieval과 Reader를 따로 구분하고 학습시켰다
BERT Config
github.com
https://github.com/facebookresearch/DPR/blob/a31212dc0a54dfa85d8bfa01e1669f149ac832b7/dpr/models/pytext_models.py#L67
Dense Passage Retrieval for Open-Domain Question Answering
Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020.
https://aclanthology.org/2020.emnlp-main.550/
[논문 요약] Dense Passage Retrieval for Open-Domain Question Answering
NLP DPR Paper Review 이번 글에선 Open Domain Question Answering(ODQA) 분야에서 관련 문서 Retriever로 현재까지도 강력한 성능을 자랑하며 사용되고 있는 DPR 프레임워크에 대하여 발표했던 논문의 주요 내용들을 요약해보도록 하겠습니다. 논문의 제목은 "Dense Passage Retrieval for Open-Domain Question Answering"이며, EMNLP 2020에 등재된 paper입니다. 실험 배경 ODQA 분야에서 질문과 관련이 깊은 후보 문서 탐색(Retrieval) 후 해당 문서들 내에서 답변의 위치를 찾는 과정(Reader)으로 구성된 프레임워크가 좋은 성능을 보이고 있음이 나타났고, 이전의 Retriever 모델 구조로는 TF..
https://jimmy-ai.tistory.com/307
![[논문 요약] Dense Passage Retrieval for Open-Domain Question Answering](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FsmJ5X%2FbtrHqDvwpcR%2Fy0ZgHwRTLQ7RuNZwK8rfu0%2Fimg.png)
Models
facebook/dpr-reader-multiset-base · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
https://huggingface.co/facebook/dpr-reader-multiset-base
arxiv.org
https://arxiv.org/pdf/2004.04906.pdf