Texonom
Texonom
/
Engineering
Engineering
/Data Engineering/Artificial Intelligence/Machine Learning/Neural Network/Neural Network Structure/Neural Network Layer/Batch Normalization/
Whitening
Search

Whitening

Creator
Creator
Seonglae ChoSeonglae Cho
Created
Created
2023 Mar 7 12:59
Editor
Editor
Seonglae ChoSeonglae Cho
Edited
Edited
2023 Jul 6 9:17
Refs
Refs
들어오는 입력값의 특징들을 uncorrelated 하게 만들어주고, 각각의 분산을 1로 만들어주는 작업
covariance matrix의 계산과 inverse의 계산이 필요하기 때문에 계산량이 많을 뿐더러, Whitening은 일부 파라미터들의 영향이 무시된다
특정 파라미터가 계속 커지는 상태로 유지될수 있다는 문제도
 
 
 
[Deep Learning] Batch Normalization (배치 정규화)
사람은 역시 기본에 충실해야 하므로 ... 딥러닝의 기본중 기본인 배치 정규화(Batch Normalization)에 대해서 정리하고자 한다. 배치 정규화 (Batch Normalization) 란? 배치 정규화는 2015년 arXiv에 발표된 후 ICML 2015에 게재된 아래 논문에서 나온 개념이다. Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift https://arxiv.org/pdf/1502.03167.pdf Gradient Vanishing / Exploding 문제 신경망에서 학습시 Gradient 기반의 방법들은 파라미터 값의 작은 변화가 신경망 출력에 얼마나 영향을 미칠 ..
[Deep Learning] Batch Normalization (배치 정규화)
https://eehoeskrap.tistory.com/430
[Deep Learning] Batch Normalization (배치 정규화)
 
 

Recommendations

Texonom
Texonom
/
Engineering
Engineering
/Data Engineering/Artificial Intelligence/Machine Learning/Neural Network/Neural Network Structure/Neural Network Layer/Batch Normalization/
Whitening
Copyright Seonglae Cho