NF4(4-bit NormalFloat Quantization)
NF4 data type의 경우 Quantile Quantization으로 이루어져있다.
Quantile Quantization은 말 그대로 분위수를 통한 양자화
느리다는 큰 단점
NF4
Creator
Creator
Seonglae ChoCreated
Created
2024 Mar 31 15:17Editor
Editor
Seonglae ChoEdited
Edited
2024 Mar 31 15:18Refs
Refs
Normal distribution