AI 요약관련 정보

Microsoft가 재작년부터 논문으로 제시하여 주목을 받은 AI 판 LK-99 BitNet: 1-bit LLM 이 오픈 모델로 공개되며 사실임을 입증하였습니다. 저도 직접 설치하여 해보니, 한글은 잘 되지 않지만 영어 대화에 기존 sLM 1B ~ 3B 모델 보다 더 나은 성능을 보이거나 유사한 성능을 보이는데요. 중요한 것은 GPU 필요 없이 CPU 만으로 충분히 구동이 가능한 규모로 초당 수 토큰 출력의 빠른 속도를 보인다는 점입니다. 1.58bit LLM 이라며 -1, 0. 1의 3진 구조를 사용하는 BitNet은 학습 시 BackPropagation 과정에서만 중간 단계의 높은 precision을 사용할 뿐 나머지는 모두 1~2bit만 사용하여 학습을 진행하는데요. 이로 인해 추론 시 사용하는 메모리 양을 극단적으로 낮추면서도 CPU만으로 구동 가능한 경량화된 모델로 On-Device AI의 발전이 점차 가속화되고 있는 것으로 보입니다. #마이크로소프트 #BitNet #온디바이스AI Written by Error Edited by 이진이 unrealtech2021@gmail.com