Parallel Training

지난 글(자연어처리 모델 학습을 위한 하드웨어 구성은? - NVIDIA Grace)에서 NLP 모델의 학습시 큰 모델 크기와 대규모 학습 데이터 때문에 여러 GPU에 나누어 연산하는 분산학습이 이뤄진다고 간단히 설명했는데 이번 글에서는 본격적으로 딥러닝 분산학습(Distributed learning)에 대해 알아보겠습니다. 딥러닝 분산학습 방법에는 학습 데이터를 여러 GPU에 나눠 학습하는 Data parallelism과 모델을 여러 GPU에 나누는 Model parallelism이 있습니다. 딥러닝 학습이란? 분산학습에 대해 알아보기 전에 딥러닝 학습이란 무엇인지부터 정리하죠. 딥러닝 연산은 크게 학습과 추론으로 나뉘는데 이에 대한 설명은 이전글(딥러닝 학습/추론과 이에 따른 하드웨어 차이)를 참고해주..