Texonom
Texonom
/
Engineering
Engineering
/Data Engineering/Artificial Intelligence/AI Object/NLP/Text Tokenizer/Special Token/
UNK Token
Search

UNK Token

Created
Created
2023 Jun 11 4:37
Editor
Editor
Seonglae Cho
Creator
Creator
Seonglae Cho
Edited
Edited
2023 Jul 30 8:14
Refs
Refs
Unknown Token
까다로워지는 상황을 OOV(Out-Of-Vocabulary) 문제
 
 
 
 
 
13-01 바이트 페어 인코딩(Byte Pair Encoding, BPE)
기계에게 아무리 많은 단어를 학습시켜도 세상의 모든 단어를 알려줄 수는 없는 노릇입니다. 만약 기계가 모르는 단어가 등장하면 그 단어를 단어 집합에 없는 단어란 의미에서 해당 토…
13-01 바이트 페어 인코딩(Byte Pair Encoding, BPE)
https://wikidocs.net/22592
13-01 바이트 페어 인코딩(Byte Pair Encoding, BPE)
 

Recommendations

Texonom
Texonom
/
Engineering
Engineering
/Data Engineering/Artificial Intelligence/AI Object/NLP/Text Tokenizer/Special Token/
UNK Token
Copyright Seonglae Cho