Adam Optimizer + Weight Decay
Paged AdamW
- 8bit
- 32bit
momentum, variance등 값을 저장하는 메모리 사용 정도 조절가능
Fused AdamW
GPU support 여러 연산을 하나의 커널로 결합하여 계산
빠르고 메모리 효율적
AdamW Optimizer
Creator
Creator
Seonglae ChoCreated
Created
2023 Jun 18 8:48Editor
Editor
Seonglae ChoEdited
Edited
2024 Aug 28 15:42Refs
Refs