이젠 AI도 하이브리드 시대 - 카카오T On-Device AI 개발기

간단 소개

카카오모빌리티의 On-Device AI 및 하이브리드 AI 개발 경험 공유: Android, iOS 구현 및 클라우드 연동 전략, 실제 서비스 적용 사례 포함.

AI Summary

Android On-Device AI 개발
- Gemini Nano를 활용, AI Edge SDK를 통해 AICore와 통신하여 모델 다운로드 및 질의 수행
- 한국어 데이터 부족, 개인정보 필터링 문제 극복 위해 구글 클라우드팀과 협력, 프롬프트 최적화
iOS On-Device AI 개발
- Core ML을 이용해 자체 학습 모델 개발, CPU, GPU, Neural Engine 활용
- Word Tagger를 활용한 데이터 전처리 및 튜닝으로 모델 최적화
하이브리드 AI 전략
- On-Device AI의 한계 극복을 위해 Cloud AI와 결합, 프롬프트 동적 구성 및 AICore 개념 도입
- Cloud AI와 On-Device AI를 동시에 호출하여 최적의 결과를 선택하는 하이브리드 응답 전략 적용
- 카카오T 퀵 서비스에 AI 기반 지능형 주소 자동 입력 기능 적용, 접수 시간 단축 및 완료율 상승 효과