LLM을 이용한 서비스 취약점 분석 자동화 #1

LLM 기반 취약점 분석 자동화 도전

• 토스에서 LLM을 활용한 서비스 취약점 분석 자동화 프로젝트를 진행.
• 구글의 Project Naptime에서 영감을 받아 시작.
• 대용량 소스코드 처리, 결과 일관성, 비용, 지속 가능성 등 4가지 주요 난관에 직면. 기술적 난관 극복 및 해결책
• 대용량 소스코드 문제는 **MCP(Model Context Protocol)**를 개발하여 tree-sitter, ctags, ripgrep으로 효율적 참조 가능하게 해결.
• 결과 일관성 및 정확도 문제는 Semgrep 같은 SAST 도구를 활용, 모든 Source→Sink 경로를 수집하여 LLM이 분석하도록 함으로써 해결.
• 비용 문제는 Multi-Agent 시스템 (Supervisor, Discovery, Analysis)을 도입, Discovery 에이전트가 관련 경로만 선별하여 처리하도록 하여 효율성 증대. 지속 가능성 확보 및 최종 결과
• 높은 클라우드 LLM 비용 문제를 해결하기 위해 Open Model로 전환.
• Qwen3:30B 모델을 최종 선정하고, 프롬프트 개선 및 태스크 분할로 성능 보완.
• 최종적으로 정확도 95% 이상의 LLM 취약점 분석 자동화 시스템 구현.