은행에서 AI를 private하게 사용하는 방법 (feat. Azure)

간단 소개

카카오뱅크의 Azure OpenAI 도입 및 아키텍처 구축 사례, 보안 및 규제 준수, 로그 파이프라인 구축 과정을 설명합니다.

AI Summary

Azure OpenAI 도입 배경 및 고려 사항
- 카카오뱅크는 코로나19로 인한 VDI 리소스 부족 문제를 해결하기 위해 Azure를 도입, 이후 AI 도입을 검토.
- 금융 규제 준수를 위해 클라우드 서비스 제공자와 이용자 관점에서 안전성 평가 및 확보 조치 방안을 수립.
- Azure OpenAI는 고객 데이터를 학습에 사용하지 않는다는 점을 확인, 정보 보안 위협을 최소화.
Azure 아키텍처 및 네트워크 구성
- Entra ID, Tenant, Subscription 등 Azure의 기본 개념 설명, AWS와의 차이점 비교.
- Landing Zone 개념을 활용하여 Multi-Subscription 체계를 구축, 각 Subscription 용도 분리 (Identity, Management, Connectivity, Dev, Test, Prod, VDI).
- Hub-and-Spoke 네트워크 아키텍처를 적용, Connectivity Subscription을 Hub 네트워크로 사용, On-Premise와 Azure 간 연결은 Express Route Circuit을 통해 구성.
Azure OpenAI 서비스 및 로그 파이프라인 구축
- Azure OpenAI는 한국 리전에서 서비스되지 않아 East US 리전을 사용, API Management Service를 통해 Full Prompt Logging 구현.
- Activity Log, Diagnostic Setting, Entra ID Log 등 Azure Log 종류 설명, Event Hub와 Azure Function을 이용하여 로그 파이프라인 구축, 내부 SIEM 시스템으로 연동.
- 사내 메신저 AI 봇, '오늘의 mini 일기' 서비스 등 Azure OpenAI가 적용된 서비스 소개.