Seonglae ChoSplit Source psgs_w100
- nq dpr
- jina
multiset dpr
e5
Split Source wikipedia-256
- jina
nq dpr
multiset dpr
e5
Insight
- jina 가 sentence embedding sota인데도 잘 안되는거 보니 QA같이 asymmetric task 용 (query, context model 따로 쓰는 e5같은 것) embedding 아니면 dpr retriever보다 성능 별로로 나왔다.
- 의외로 nq multiset, nq single 호환 안된다. (어느정도 성능 떨어지는건 예상했느데 반토막나버림)