Seonglae ChoSelf-supervised learning defines a pretext task based on unlabeled inputs to produce descriptive and intelligible representations (Balestriero et al., 2023)
Bidirectional LM에서 Masked Language Model의 pre-training을 위해 사용되기도 한다.
적은 데이터로 인공지능이 스스로 데이터를 체계적으로 생성한 다음, 스스로 학습을 진행하는 것
강아지 사진을 한 장만 가지고도, 강아지 사진을 여러 방향으로 회전 시키거나, 특징을 나타내는 일부분을 자동으로 만들어내서 학습을 시키는 형태로 AI 를 학습
Self-Supervised Learning Notion