AI 요약관련 정보

애플의 최신 ‘M4 Max’ 칩을 탑재한 맥북 프로가 출시되었죠. M4 Pro에서 확장된 구조 설계로 다시 회귀한 모습인데요. 최대 128GB 통합 메모리로 RTX 4090의 24GB 메모리를 압도하다보니, 앞으로 대형 LLM 모델도 맥북을 통해 On-Device AI를 구현할 수 있을 것으로 예상됩니다. 예전에 맥북 2대를 사용하여 메타의 ‘LLaMA 3.1 405B’ 모델을 돌리는 모습을 보였는데, 5개월 출시가 예상되는 M4 Ultra가 M4 Max의 두 배 대역폭, 두 배 용량을 지원한다고 가정하면 맥 스튜디오 한 대로도 이 거대한 모델을 돌릴 수 있을 것으로 보이는데요. 엣지 디바이스 최초로 거대한 4050억 매개변수를 가진 AI 모델을 온디바이스로 실행할 수 있게 된 것이죠. 최근 로컬로 AI를 돌리는 사람들이 점차 많아지는 가운데, 서버용 GPU의 경우에도 메모리 용량 한계로 여러 대를 엮어 써야 하는 상황에서, 맥북과 M4 시리즈가 높은 메모리 용량과 대역폭을 지원함에 따른 강점이 드러나보이는 모습인데요. 고성능 하드웨어가 AI 기술의 새로운 가능성을 열어가고 있습니다. TSMC InFO 기술로 Ultra Fusion을 사용한 M4 Ultra가 업계와 AI 애플리케이션에 어떤 영향을 줄지 기대해봅니다. Written by Error Edited by 이진이 unrealtech2021@gmail.com