Gradient Clipping

Creator

Creator

Seonglae Cho

Created

Created

2023 Jul 6 9:13

Editor

Editor

Seonglae Cho

Edited

Edited

2024 Oct 21 11:39

Refs

Refs

Exploding gradient

Can be considered as an adaptive learning rate without smoothing

FP overflow시 없에준다.

기울기 폭주를 막기 위해 임계값을 넘지 않도록 값을 자릅

RNN 에서 유용하다

보통 norm에 따라 값을 정해서 clip한다

07-07 기울기 소실(Gradient Vanishing)과 폭주(Exploding)

깊은 인공 신경망을 학습하다보면 역전파 과정에서 입력층으로 갈 수록 기울기(Gradient)가 점차적으로 작아지는 현상이 발생할 수 있습니다. 입력층에 가까운 층들에서 가중치들이…

07-07 기울기 소실(Gradient Vanishing)과 폭주(Exploding)

https://wikidocs.net/61375

07-07 기울기 소실(Gradient Vanishing)과 폭주(Exploding)

Recommendations

////////