AI 요약관련 정보

• 딥시크, 오픈 인프라 인덱스 통해 코드, 문서, 프로파일링 덤프까지 공개 📂.
• LM 인프라는 미지의 영역이었지만, 딥시크 공개를 통해 엔지니어링 열정을 느낌 🔥.
• 딥시크는 작은 팀이며, AGI 탐색에 도전하며 개발자로서 진전을 투명하게 공유하고자 함 🤝.
• 플래시 MLA는 어텐션 레이어 메모리 효율성을 높이는 기술로, BF16 사용 및 페이지드 키밸류 캐시 적용 💾.
• DP는 익스퍼트 패러리즘으로, 모델 내 전문가 영역을 나누어 특정 질문에 맞는 전문가가 답변 🧠.
• 익스퍼트를 GPU에 분산 배치하고, GPU 간 통신 최적화를 위해 인트라/인터 노드 통신 기술 활용 ⚡.
• 딥잼은 행렬 곱셈을 빠르게 처리하는 기술로, MOE에 특화되어 플로팅 포인트 8 지원 🔢.
• 듀얼 파이프라인은 머신러닝 훈련 시 포워드/백워드 훈련을 빈틈없이 수행하는 병렬 처리 최적화 기술 ⚙️.
• EPLB는 익스퍼트 로드 밸런싱을 통해 GPU 트래픽을 고르게 유지하고, 분산 처리 효율성을 높임 ⚖️.
• F3FS는 수백 개의 SSD를 거대한 스토리지 시스템처럼 동작하게 하여, 스토리지와 컴퓨팅 자원 독립적 확장 가능 💽.
• 스몰드는 덕디비 기반 데이터 처리 프레임워크로, F3FS 기반 환경에서 페타바이트 스케일 데이터셋 처리 가능 🔍.
• 딥시크는 H800 노드에서 초당 73,000개 인풋, 14,000개 아웃풋 토큰 처리 달성 🚀.