프롬프트 인젝션이 노리는 당신의 AI : 실전 공격 유형과 방어 전략

프롬프트 인젝션의 위험성 및 원리

• 프롬프트 인젝션은 AI 시스템에 악성 지시를 입력해 의도치 않은 동작을 유발하는 보안 공격 기법으로, 특히 LLM은 자연어 처리 특성상 시스템 프롬프트와 사용자 입력을 구조적으로 구분하기 어려워 취약하다.
• AI 에이전트가 핵심 업무를 수행함에 따라 인젝션 발생 시 금전적 손실, 민감 정보 유출 등 큰 피해를 초래할 수 있으며, OWASP는 이를 최우선 보안 위협으로 분류했다.
• 원리는 LLM이 모든 입력을 하나의 토큰 시퀀스로 처리하고, 최근 토큰 및 명령형 언어에 높은 가중치를 부여하기 때문이다.

주요 공격 유형

• 직접 인젝션: 지시 하이재킹, 페르소나 하이재킹/탈옥(DAN 공격), 난독화/회피(키워드 재구성, 다국어, 인코딩) 등 악성 프롬프트를 직접 입력.
• 프롬프트 은닉: 간접 프롬프트 인젝션(외부 데이터 소스 삽입), 멀티모달 인젝션(이미지, 오디오 등에 악성 지시 숨김) 등 사용자가 인지하지 못하게 제3의 소스로 공격.
• 고도화된 인젝션: 토픽 공격, 토큰 브레이크, 정책 조작, 장기 메모리 조작, 보이지 않는 문자 삽입, Prompt Injection 2.0(도구 호출 권한 악용), AI 웜 및 다중 에이전트 감염(자기복제 프롬프트로 연쇄 전파) 등 정교한 기법들이 존재한다.

방어 대책

• 안전한 프롬프트 엔지니어링: XML 태그 기반 입력 분리, 후위 프롬프팅으로 지시 재강조.
• 애플리케이션 및 인프라 강화: 출력 정제, 권한 관리, 샌드박스 격리, 인간 개입(Human-in-the-loop)으로 시스템 확산 방지.
• 견고한 아키텍처 설계: 별도 가드레일 서비스 및 LLM으로 입출력 검증, 중앙 정책 관리 서비스(AI Gateway) 구축.