- 딥러닝 전처리 시 multiprocessing을 사용하면 작업 속도를 향상시킬 수 있습니다. 🚀
concurrent.futures
의ProcessPoolExecutor
를 사용하여 병렬 처리를 구현합니다. ⚙️- multiprocessing 과정은 프로세스 확보, 작업 요청, 결과 수집의 3단계로 구성됩니다. 📑
executor.submit(함수, item)
은 함수 자체와 입력값을 프로세스에 전달하여 병렬 실행합니다. 📤futures
리스트의 각 요소는 작업 그 자체를 나타내며,.result()
를 통해 함수의 반환값을 얻을 수 있습니다. 🎁- 전처리 데이터가 많을 때 multiprocessing을 활용하면 모델 학습에 더 많은 시간을 할애할 수 있습니다. ⏳