엔터프라이즈 LLM 서비스 구축기 1: 컨텍스트 엔지니어링

엔터프라이즈 LLM 서비스의 컨텍스트 엔지니어링

• LY Corporation은 27개 제품, 260개 API를 다루는 Flava AI 어시스턴트 개발 중, LLM 애플리케이션 구축에 직면.
• 프롬프트 엔지니어링 한계와 LLM의 컨텍스트 윈도우 한계(양/질 저하, 환각 발생)로 컨텍스트 엔지니어링이 필수적.
• 일반 RAG 챗봇과 달리 사용자의 실제 리소스 상태를 API 호출로 확인하여 맞춤형 진단 제공.

Flava AI 어시스턴트의 '점진적 공개' 전략

• 질문 분석, 도구 선별, 가이드 주입, 실행 및 포맷팅 4단계로 정보를 점진적 공개하여 컨텍스트 효율화.
• 가이드라인은 시스템 프롬프트 대신 모의 도구 메시지 형태로 주입하여 정보 우선순위 명확화 및 환각 방지.
• API 응답 시 스키마 정보와 YAML 형식 데이터를 덧붙여 LLM이 최소 컨텍스트로 의미 파악. 핵심은 노이즈 제거 및 신호 강화.