Skip connections

Skip connection이란? deep architectures에서 short skip connections[1]은 하나의 layer의 output을 몇 개의 layer를 건너뛰고 다음 layer의 input에 추가하는 것이다. 이는 VGG[2]같은 기존의 model이 output만을 intput으로 사용되는 것과는 대비된다. problem in tranditional architecture skip connection을 이해하기 전에 왜 필요한지에 대해 알 필요가 있다. VGG와 같은 architecture를 설계할 때 깊을수록 더 나은 성능을 보인다. 하지만 깊이가 너무 정도 깊어진다면 오히려 성능이 하락하는 결과가 나타난다. 56-layer network는 전체 training 절차 동안 높은 ..