애플이 밝혀낸 AI의 숨겨진 결함 (논문 발표)
- 애플 연구원들은 AI 능력이 과대평가되었고, AI가 진정으로 지능적이지 못하다고 주장한다. 🤔
- OpenAI의 Large Language Model(LLM)과 GPT Metarama는 단순히 기억과 패턴 인식에 의해 작동한다. 🧠
- 애플 연구진이 개발한 새로운 벤치마크 GSM Symbolic은 AI 모델의 수학적 추론 능력을 평가한다. 🧮
- AI 모델들은 GSM 8K 벤치마크에서 보여준 획일적인 정확도 지표에 비해 다양한 수준의 성능을 보인다. 📉
- AI 모델들은 특정 단어나 구절에 대한 편향(token bias)을 보이며 논리적 사고가 부족하여 풀기 어려운 문제에 곤란을 느낀다. 😟
- 복잡한 문제의 경우, AI 모델은 관련된 정보를 분리하여 이해하지 못하고 오히려 부수적인 정보에 갇히게 된다. 🔒
- 애플 연구 결과는 AI의 기존 능력, 특히 추론과 코딩 능력이 과대평가되는 것을 보여준다. 😕
- 진정한 지능은 단순히 인간의 답변을 모방하는 것을 넘어서는 능력이다. 🚀