AI 요약관련 정보

• AI 앱은 프롬프트 인젝션과 같은 고유한 공격 벡터에 취약하며, 공격자는 시스템 프롬프트나 영업 비밀과 같은 민감한 정보를 추출하려 합니다. 🕵️‍♀️
• 현대 LLM은 직접적인 프롬프트 인젝션 시도를 어느 정도 방어하지만, 공격자는 'too long, didn't read'와 같은 창의적인 방법으로 앱의 내부 로직(예: 단백질, 탄수화물, 지방 사용)을 유출할 수 있습니다. 💡
• 정보는 한 번에 유출되지 않더라도, 공격자가 여러 번 시도하여 조각조각 추출될 수 있습니다 (예: "지방 1g은 X 칼로리"). 🧩
• LLM이 함수나 도구를 호출할 수 있는 경우, 웹 검색이나 데이터베이스 접근과 같은 추가적인 보안 위험이 발생할 수 있습니다. 🛠️
• 프롬프트 인젝션은 SQL 인젝션과 유사하며, 서버로 들어오는 모든 사용자 입력은 신뢰할 수 없으므로 반드시 검증하고 정제해야 합니다. ⚠️
• AI 관련 보안 위험 외에도 종속성 관리, 데이터 유효성 검사, 속도 제한 등 전통적인 웹 앱 보안 위험도 중요합니다. 🔒
• 사용자 프롬프트에서 키워드를 필터링하는 것은 첫 번째 방어선이 될 수 있지만, 공격자의 창의성 때문에 확장성이 떨어집니다. 🚫
• 경량 LLM을 이용한 사전 검사: 메인 LLM에 보내기 전에 가볍고 저렴한 모델로 사용자 입력을 검사하여 악의적인 프롬프트 인젝션을 탐지합니다. 🛡️
• 프롬프트 엔지니어링: 시스템 프롬프트에 명확한 경계를 설정하고, 지침과 충돌하는 요청에는 일반적인 응답을 하도록 지시하여 정보 유출을 방지합니다. 🚧
• 후처리 단계: LLM의 응답을 클라이언트에 보내기 전에 다시 한번 검사하여 영업 비밀이나 민감한 정보가 포함되어 있는지 확인합니다. 🔍
• 자체 테스트 및 레드팀 운영: 개발자가 직접 앱에서 시스템 프롬프트나 민감한 정보를 추출하려는 시도를 하여 취약점을 파악합니다. 🧪
• 접근 제한 및 사용자 ID 추적: API 호출에 사용자 ID를 추가하여 악용 사례를 추적하고, 불필요한 접근을 제한하여 비용 및 보안 위험을 줄입니다. 🆔
• 민감한 사용자 정보 보호: 사용자가 실수로 이메일, 전화번호, 신용카드 정보와 같은 개인 식별 정보를 서버에 전송하지 않도록 방지합니다. 📧
• 미들웨어를 통한 보안 강화: Next.js와 같은 프레임워크의 미들웨어를 활용하여 요청이 서버에 도달하기 전에 보안 검사(예: ArcJet을 이용한 민감 데이터 필터링)를 수행합니다. ⚙️
• 속도 제한 (Rate Limiting): 짧은 시간 내에 너무 많은 요청을 보내는 것을 방지하여 무차별 대입 공격이나 악의적인 정보 추출 시도를 막습니다. ⏱️