[딥러닝 경량화] 딥러닝 네트워크 양자화(quantization)는 왜 필요할까?

간단 소개

딥러닝 모델 경량화를 위한 양자화 기법의 필요성, 방법, 과정, 결과 분석 및 고려 사항을 제시합니다.

AI Summary

딥러닝 양자화 필요성
- 에지 디바이스의 제한된 자원(메모리, 컴퓨팅, 전력)으로 인해 딥러닝 모델 경량화가 필수적이며, 양자화는 이를 위한 핵심 기술임
- 양자화는 모델 weight 값을 저장하는 데 필요한 비트 수를 줄여 모델 크기를 감소시키고, 추론 속도를 향상시킴
양자화 방법 및 과정
- **PTQ(Post Training Quantization)**와 QAT(Quantization Aware Training) 두 단계로 수행 가능
- FP32 모델 프로파일링을 통해 하드웨어 지원 여부, 이슈 확인, layer 별 latency 분석 후 대체 layer 선정
- PTQ는 기존 모델과 데이터를 활용한 calibration을 통해 int8 모델에 데이터 범위 반영
- QAT는 PTQ 값을 기반으로 qdq layer를 포함한 모델을 학습하여 최적화
양자화 결과 및 고려 사항
- ONNX graph 비교를 통해 qdq layer 삽입 확인 및 latency 감소 효과 검증 (약 67% latency 감소)
- Data calibration, batch-norm folding, 하드웨어 제조사별 PTQ 방식 등 다양한 요소 고려 필요