Seonglae ChoSupervised Fine-Tuning
SFT rarely alters the underlying model capabilities which means practitioners can unintentionally remove a model’s safety wrapper by merely fine-tuning it on a superficially unrelated task
SFT는 전문가 데이터(Off-policy)를 학습하지만 일반화가 약하고 Catastrophic Forgetting이 발생하기 쉬움. RL은 On-policy 학습으로 일반화가 뛰어나지만, 모델이 정답을 생성하지 못하는 어려운 문제에서는 학습 신호가 부족함.