- DeepSeek, LLM 훈련용 분산 파일 시스템 3FS 오픈소스화 💾
- LLM 훈련 데이터 전처리 시 I/O 집중 작업 가속화 목표 🚀
- 클러스터 관리자가 노드 추가/제거 및 설정 관리 ⚙️
- 데이터 분산 및 단일 실패 지점 방지를 위해 모든 노드에 쓰기 요청 브로드캐스트 📡
- 대용량 파일 청크 분할 후 노드에 분산 저장 🧩
- Kafka 영감을 받은 비동기 제로 카피 최적화로 메모리 및 시간 절약 ⏱️
- 110TB 데이터 30분 내 정렬, 초당 6.6TB 처리 가능 ⚡