This Vision LLM solved Time 🙀

5개의 비전 언어 모델 중 1개만이 시간을 제대로 파악할 수 있었다는 점을 강조하며, 시각 언어 모델의 품질이 달라짐을 보여주는 사례로, 이러한 모델은 일상생활에서 도움이 될 수 있음을 시사한다. 🕰️

시각 언어 모델이 시간을 파악하는 데 어려움을 겪는 원인으로 훈련 데이터의 편향된 자료가 언급되었으며, 특히 그림 검색 시 5시, 10시, 10:05가 빈번하게 나타나는 것을 예시로 들었다. 📸

OpenAI의 Claude는 사용자의 후속 질문에 답변하며 본인의 오류를 인지하고 수정하는 능력을 보여주었다. 🤔

구글 젬이니는 사용자의 후속 질문에도 오류를 수정하지 못했다. 😵

MuLo는 시각 언어 모델의 새로운 분야임을 제시하며, 장기적 차원에서 조작 가능성을 뒷받침하는 주장이 포함되어 있다. 💡

다양한 시각 언어 모델을 비교 평가하여 각 모델의 장단점을 분석하는 데 본 시연이 유용함을 강조한다. 📊

모든 시각 언어 모델들은 차트나 다이어그램을 이해하는 데 어려움을 가질 수 있다는 제한점을 제시하며, 추가 연구가 필요함을 시사한다. 📊