Data Parallelism in Machine Learning Training

간단 소개

생성형 AI 모델 학습을 위한 데이터 병렬 처리 기술과 동기/비동기 업데이트 방식, Ring-AllReduce 알고리즘을 설명합니다.

AI Summary

데이터 병렬 처리의 중요성
- 생성형 AI 모델 학습에 필수적인 분산 훈련 시스템의 핵심 기술
- 대규모 데이터셋을 여러 GPU에 분할하여 각 GPU가 모델 사본을 가지고 병렬적으로 학습
- 각 GPU는 전체 데이터셋의 일부만 학습하므로 모델 상태가 약간씩 다름
동기 vs 비동기 업데이트
- 동기 업데이트: 모든 GPU의 gradient를 집계하여 모델 파라미터를 동시에 업데이트 (모델 상태 일관성 유지)
- 비동기 업데이트: 각 GPU가 독립적으로 모델을 업데이트하고 파라미터 업데이트를 비동기적으로 공유 (학습 처리량 향상, 모델 상태 불일치 가능성)
Ring-AllReduce 알고리즘
- 분산된 비동기 알고리즘으로, GPU를 링 토폴로지로 구성하여 효율적인 통신을 가능하게 함
- 중앙 파라미터 서버의 필요성을 제거하고, 동기화된 파라미터 업데이트를 통해 일관된 모델 상태를 유지
- Scatter-Reduce와 AllGather 단계를 통해 gradient를 집계하고 공유