Seonglae Cho크게 2가지
evaluation
pipeline model inference 최적화
NQ evaluation
평가 복잡해서 그냥 evaluate qa squad 사용
성능 너무 낮은데 reader문제인가 다른걸로 해볼듯
Torchserve
pipeline model inference 최적화
validation 하긴 했는데 너무 오래걸려서 torchserve로 최적화 결정
TGI 는 text generation 만 가능해서 question answering 안되고 지원 모델 많이 없었으
실패
transformer
batch
parallel
논의사항
- abstracted 들어가서 long answer혹은 다른 데이터셋?
- 결론 부분을 뭐로 해야할지
Logit answer
결국 batch 로 했는데 offset mapping 이 string index를 말해주는 거였
참고해서 하긴 했는데 feature는 결국에 뭐지 그건
use pipeline class
dpr로 해보기
답변 섞이나? 순서가 이상한데