RMSprop + Momentum (Adagrad)
파라미터마다 두 개의 추가 벡터를 유지하기 때문에 메모리 사용량이 크게 증가
- First momentum
- Second momentum
Diagonal Preconditioning
- means learning rate
- to prevent 0 parent
Adam Optimizer
Creator
Creator
Seonglae ChoCreated
Created
2023 Jun 18 8:47Editor
Editor
Seonglae ChoEdited
Edited
2026 Oct 30 13:44Refs
Refs
AdamW Optimizer