AI 요약관련 정보

• LLM이 긴 대화, 방대한 텍스트, 코드, 계약서, 멀티모달 정보, AI 에이전트 통신 등 다양한 장문 정보를 효과적으로 이해하고 처리하는 능력은 필수적입니다. 📚
• 롱컨텍스트 성능은 Needle-in-a-Haystack(특정 정보 찾기)과 RULER(멀티 키/쿼리/밸류, 변수 추적, 단어 추출, 다중 문서 질의응답 등 7가지 복잡한 태스크) 벤치마크로 평가됩니다. 🎯
• 대부분의 LLM이 사용하는 RoPE(Rotary Positional Embedding)는 토큰의 상대적 위치 정보를 회전 방식으로 인코딩하며, 학습된 길이를 초과하는 컨텍스트를 처리할 때 '인터폴레이션' 기법으로 RoPE 함수의 주기를 늘려 성능 저하를 완화합니다. 🔄
• YaRN은 RoPE의 고주파(근거리)와 저주파(원거리) 특성을 고려하여 각기 다른 스케일 팩터를 적용하고 위상차를 보정하여 근거리 위치 구분 능력 저하를 최소화하고 원거리 컨텍스트 이해도를 높입니다. 🎶
• LongRoPE는 진화 탐색으로 최적 스케일 팩터를 찾고, Dimension-wise Positional Embedding은 각 RoPE 함수별 최적 길이와 중요한 차원을 식별하여 롱컨텍스트 처리 효율을 높이는 비학습 방법입니다. 🧬
• 비학습 방법들은 성능 향상에 기여하지만 한계가 명확하여, 학습된 길이를 벗어나는 매우 긴 컨텍스트에서는 장문 데이터 학습을 통한 모델 개선이 필수적입니다. 📈
• 언어 모델은 '배'처럼 동일한 단어가 문맥에 따라 다른 의미를 가질 때, 토크나이저가 이를 동일한 토큰으로 변환하는 문제를 해결하기 위해 위치 정보가 필요하며, RoPE는 단어 벡터를 회전시켜 상대적 위치 관계를 학습함으로써 문맥 이해도를 정교하게 높입니다. 🧭
• 롱컨텍스트 모델 구축의 핵심은 실제 세상의 다양한 길이의 장문 데이터를 확보하고, 이를 효율적으로 학습하기 위한 최적화 기법을 적용하는 것입니다. 🏗️
• 대부분의 학습 데이터가 짧고 긴 데이터 확보가 어려워, 짧은 단문들을 조합하여 질의응답(QA) 및 요약(Summarization) 형태의 장문 합성 데이터를 생성하는 전략이 효과적인 대안으로 제시됩니다. ✍️
• 롱컨텍스트 학습 시 발생하는 GPU 메모리 부담을 해결하기 위해, 링 어텐션은 시퀀스를 여러 GPU에 분산 처리하고, 데이터 패킹과 문서 마스킹은 패딩을 최소화하고 GPU 활용도를 극대화하여 효율적인 학습을 가능하게 합니다. 💾
• 장문 합성 데이터를 활용한 학습은 Needle-in-a-Haystack, RULER, LongBench 등 다양한 벤치마크에서 학습 전 모델 대비 롱컨텍스트 처리 능력을 크게 향상시키며, 여러 종류의 합성 데이터를 조합했을 때 가장 높은 성능을 달성합니다. ✅