RMSprop + Momentum (Adagrad)
파라미터마다 두 개의 추가 벡터를 유지하기 때문에 메모리 사용량이 크게 증가
- First momentum
- Second momentum
- means learning rate
- to prevent 0 parent
Adam Optimizer
Creator
Creator
Seonglae ChoCreated
Created
2023 Jun 18 8:47Editor
Editor
Seonglae ChoEdited
Edited
2024 Dec 4 22:32Refs
Refs