데브허브 | DEVHUB | How JP Morgan Built An AI Agent for Investment ResearchHow JP Morgan Built An AI Agent for Investment Research
- JP Morgan의 투자 리서치 팀은 수천 개의 상품과 방대한 데이터를 수동으로 처리하며 확장성과 효율성 문제에 직면했습니다. ⏳
- 이 문제를 해결하기 위해 AI 기반 에이전트인 'Ask David'를 개발하여 투자 리서치 프로세스를 자동화하고 정확한 결과를 제공합니다. 🤖
- 'Ask David'는 인간 연구원을 대체하는 것이 아니라, 수십억 달러의 자산이 걸린 상황에서 업무 효율성을 높이고 심층적인 통찰력을 제공하는 도구입니다. 💼
- 'DAVID'는 Data Analytics Visualization Insights and Decision-making Assistant의 약자입니다. 💡
- 이 시스템은 수십 년간 축적된 정형 데이터, 문서, 이메일, 녹음 등 비정형 데이터, 그리고 독점적인 모델 및 분석 기능을 통합하는 도메인별 QA 에이전트입니다. 🧠
- 금융 자문가들이 고객 미팅 중 실시간으로 질문에 대한 답변, 통찰력, 시각화를 얻어 즉각적인 의사 결정을 가능하게 합니다. 🚀
- 'Ask David'는 오케스트레이터 역할을 하는 감독 에이전트와 정형 데이터, 비정형 데이터, 분석을 담당하는 전문 하위 에이전트로 구성된 다중 에이전트 아키텍처를 가집니다. 🕸️
- 정형 데이터 에이전트는 자연어를 SQL 쿼리나 API 호출로 변환하고, 대규모 언어 모델(LLM)을 사용하여 데이터를 요약합니다. 📊
- 비정형 데이터 에이전트(RAG)는 데이터를 전처리, 벡터화하여 데이터베이스에 저장하고, RAG(Retrieval Augmented Generation)를 활용하여 효과적으로 정보를 검색합니다. 📚
- 분석 에이전트는 독점 모델과 API를 활용하며, 간단한 쿼리에는 React 에이전트를, 복잡한 쿼리에는 텍스트-코드 생성 기능과 인간 감독을 사용합니다. 📈
- 답변은 사용자 역할에 따라 맞춤화되며, LLM 심사관이 정확성을 검토하고 필요시 재시도하는 반영(reflection) 과정을 거칩니다. ✨
- 교훈 1: 빠르게 반복하고 자주 리팩토링하라. 단순한 React 에이전트에서 시작하여 전문 에이전트를 구축하고, 이를 다중 에이전트 흐름에 통합하며 서브그래프를 통해 확장합니다. 🔄
- 교훈 2: 평가 중심 개발을 하라. 초기부터 정확성, 간결성 등 지표를 설정하고, 하위 에이전트를 독립적으로 평가하며, LLM 심사관과 인간 검토를 결합하여 지속적으로 개선합니다. ✅
- 교훈 3: 인간 전문가(SME)를 루프에 포함하라. 특히 90% 이상의 정확도를 달성하는 '마지막 단계'에서 인간의 개입은 필수적이며, 높은 이해관계가 걸린 금융 분야에서 신뢰성을 보장합니다. 🤝
- 결론적으로, JP Morgan의 'Ask David' 개발 경험은 빠른 반복, 조기 평가, 그리고 인간 전문가의 지속적인 참여가 핵심임을 강조합니다. 🎯