GPTQ Structure

Creator
Creator
Seonglae ChoSeonglae Cho
Created
Created
2023 Dec 9 6:43
Editor
Edited
Edited
2023 Dec 9 6:43
Refs
Refs
  1. Arbitrary Order insights
  1. Lazy batch-updates - 메모리 처리 병목현상 개선
  1. Cholesky Reformulation
 
 
Quantization 오차가 가장 적은 가중치 기준으로 정렬하고 계산수행
second-order information
4 bits quantization
notion image
 
 
 
 
 
 
 
 
 

Recommendations