Vanishing Gradient

Due to the repeated multiplication of weights

Spectral radius of the weight matrix accumulate since gradient accumulate in this direction.

Gradient information to be sufficiently passed through the network; Not too much (

Exploding gradient), not too little (

Vanishing Gradient )

Exploding gradient나

Vanishing Gradient 보통 Non-linear component때문에 발생한다. 선형들의 Deep layers 도 문제긴 하지만

Layer를 많이 쌓을수록 데이터 표현력이 증가하기 때문에 학습이 잘 될 것 같지만 Layer가 많아질수록 학습이 잘 되지 않는다. 출력층에서 멀어질수록 Gradient 값이 매우 작아지는 현상인데,

Activation Function 의 Gradient는 Activation의 실제 값보다 훨씬 작을 때 생긴다.

Tanh Function로 완화 후

Non-saturating nonlinearity 성질을 가지는

ReLU, etc 함수들로 해결했다.

Vanishing gradients are desirable to some extent as it is reasonable to assume that information near timestep is more useful than information far. Therefore vanishing gradients are okay if the information is not relevant.

[딥러닝] 기울기 소실(Vanishing Gradient)의 의미와 해결방법

📚 목차 1. 기울기 소실의 의미 2. 기울기 소실의 원인 3. 기울기 소실의 해결방법 1. 기울기 소실의 의미 딥러닝 분야에서 Layer를 많이 쌓을수록 데이터 표현력이 증가하기 때문에 학습이 잘 될 것 같지만, 실제로는 Layer가 많아질수록 학습이 잘 되지 않습니다. 바로 기울기 소실(Vanishing Gradient) 현상때문입니다. 기울기 소실이란 역전파(Backpropagation) 과정에서 출력층에서 멀어질수록 Gradient 값이 매우 작아지는 현상을 말합니다(그림 1 참고). 그렇다면 왜 이런 기울기 소실 문제가 발생할까요? 이어지는 섹션에서 자세히 알아봅니다. 2. 기울기 소실의 원인 기울기 소실의 발생 원인은 활성화 함수(Activation Function)의 기울기와 관련이 깊습니다..

https://heytech.tistory.com/388

Vanishing Gradient

Due to the repeated multiplication of weights

Recommendations