NF4

Creator
Creator
Seonglae ChoSeonglae Cho
Created
Created
2024 Mar 31 15:17
Editor
Edited
Edited
2024 Mar 31 15:18

NF4(4-bit NormalFloat Quantization)

NF4 data type의 경우 Quantile Quantization으로 이루어져있다.
Quantile Quantization은 말 그대로 분위수를 통한 양자화
느리다는 큰 단점
 
 
 
 
 
 

Recommendations