BERT Structure

• CLS : Classification, 입력의 맨 앞에 위치하는 토큰

• SEP : Separation, 사전학습시 텍스트를 두 부분으로 나누어 넣게 되는데 첫번째 문장의 끝과 두번째 문장의 끝에 위치하여 첫번째 문장과 두번째 문장을 나누어주는 역할

BERT Pre Training

• MLM (Masked Language Model)
BERT는 빈칸 채우기를 하면서 언어를 학습하게 된다.사전 학습 과정에서 레이블링이 되지 않은 말뭉치 중에서 랜덤으로 15%가량의 단어를 마스킹한다. 그리고 마스킹된 위치의 단어를 예측하는 방식으로 학습을 진행한다.

• NSP(Next Sentence Prediction)
모델이 문맥에 맞는 이야기를 하는지 아니면 동문서답을 하는지를 판단하며 학습하는 방식이다.

[딥러닝] 언어모델, RNN, GRU, LSTM, Attention, Transformer, GPT, BERT 개념 정리

언어모델에 대한 기초적인 정리

https://velog.io/@rsj9987/딥러닝-용어정리

인공지능(AI) 언어모델 'BERT(버트)'는 무엇인가

지난해 11월, 구글이 공개한 인공지능(AI) 언어모델 'BERT(이하 버트, Bidirectional Encoder Representations from Transformers)'는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 2018년 말 현재, 자연 언어 처리(NLP) AI의 최첨단 딥러닝 모델이다. 또한 BERT는 언어표현 사전학습의 새로운 방법으로 그 의미는 '큰 텍스트 코퍼스(Wikipedia와 같은)'를 이용하여 범용목적의 '언어 이해'(language understanding)&#

http://www.aitimes.kr/news/articleView.html?idxno=13117