Seonglae ChoDPR
Top-k 1
dpr single
psgs_w100.dpr_nq.1_dpr-reader-single-nq-base{'exact': 31.246537396121884, 'f1': 37.13090541345388, 'total': 3610, 'HasAns_exact': 31.246537396121884, 'HasAns_f1': 37.13090541345388, 'HasAns_total': 3610, 'best_exact': 31.246537396121884, 'best_exact_thresh': 0.0, 'best_f1': 37.13090541345388, 'best_f1_thresh': 0.0}
normal summary
psgs_w100.dpr_nq.10_lsg-bart-base-4096-booksum.1_dpr-reader-single-nq-base{'exact': 14.155124653739612, 'f1': 19.744338917469094, 'total': 3610, 'HasAns_exact': 14.155124653739612, 'HasAns_f1': 19.744338917469094, 'HasAns_total': 3610, 'best_exact': 14.155124653739612, 'best_exact_thresh': 0.0, 'best_f1': 19.744338917469094, 'best_f1_thresh': 0.0}
psgs_w100.dpr_nq.10_dpr-reader-single-nq-base{'exact': 28.698060941828256, 'f1': 34.1631271160357, 'total': 3610, 'HasAns_exact': 28.698060941828256, 'HasAns_f1': 34.1631271160357, 'HasAns_total': 3610, 'best_exact': 28.698060941828256, 'best_exact_thresh': 0.0, 'best_f1': 34.1631271160357, 'best_f1_thresh': 0.0}
Trained Summarizer k→1
top-k 10
resrer-bart summary dpr
psgs_w100.dpr_nq.10_resrer-bart-base.1_dpr-reader-single-nq-base{'exact': 26.28808864265928, 'f1': 32.78339189281015, 'total': 3610, 'HasAns_exact': 26.28808864265928, 'HasAns_f1': 32.78339189281015, 'HasAns_total': 3610, 'best_exact': 26.28808864265928, 'best_exact_thresh': 0.0, 'best_f1': 32.78339189281015, 'best_f1_thresh': 0.0}
resrer-pegasus dpr
psgs_w100.dpr_nq.10_resrer-pegasus-x.1_dpr-reader-single-nq-baseSummarized: {'exact': 23.545706371191137, 'f1': 29.201710416391794, 'total': 3610, 'HasAns_exact': 23.545706371191137, 'HasAns_f1': 29.201710416391794, 'HasAns_total': 3610, 'best_exact': 23.545706371191137, 'best_exact_thresh': 0.0, 'best_f1': 29.201710416391794, 'best_f1_thresh': 0.0}
psgs_w100.dpr_nq.10_resrer-bart.1_dpr-reader-single-nq-base{'exact': 26.094182825484765, 'f1': 32.163159093906984, 'total': 3610, 'HasAns_exact': 26.094182825484765, 'HasAns_f1': 32.163159093906984, 'HasAns_total': 3610, 'best_exact': 26.094182825484765, 'best_exact_thresh': 0.0, 'best_f1': 32.163159093906984, 'best_f1_thresh': 0.0}
top-k 4
psgs_w100.dpr_nq.4_resrer-bart.1_dpr-reader-single-nq-base{'exact': 26.64819944598338, 'f1': 33.64354066985644, 'total': 3610, 'HasAns_exact': 26.64819944598338, 'HasAns_f1': 33.64354066985644, 'HasAns_total': 3610, 'best_exact': 26.64819944598338, 'best_exact_thresh': 0.0, 'best_f1': 33.64354066985644, 'best_f1_thresh': 0.0}