DoReMi

Creator

Created

2023 Jun 29 14:39

Editor

Edited

2023 Jun 29 14:40

Refs

먼저 작은 프록시 모델을 사용하여 Group DRO를 적용하여 도메인 가중치(혼합 비율)를 생성

도메인 가중치를 사용하여 데이터셋을 재샘플링하고 더 큰 전체 규모의 모델을 훈련

이를 통해 DoReMi는 사전 훈련 데이터 도메인의 혼합 비율을 조정하여 언어 모델의 성능을 최적화

//////////