데브허브 | DEVHUB | AI 엔지니어링 - 2. LLM과 서비스
- LLM 모델 이해는 직접 개발보다 서비스에 적합한 모델을 선택하고 활용하기 위함이며, 신경망 구조, 사전/사후 학습 종류, 내부 구조의 한계와 해결법, 그리고 모델 평가 기준을 아는 것이 중요합니다. 🧠
- 모델 튜닝 지식은 경량 튜닝, 사후 학습 튜닝, 데이터셋 구성 방법을 포함하며, 오픈 데이터셋을 활용하여 특정 언어(예: 한국어)에 맞게 모델을 길들이는 것이 가능합니다. 🛠️
- LLM API 선택 시 메이저 업체 API는 범용적이고 다양한 부가 기능을 제공하지만, 안정성이 항상 뛰어나지는 않으며 비용이 높을 수 있습니다. 💰
- 특화 업체 API는 특정 목적(문서 인식, 음성 합성 등)에 최적화되어 저렴하고 성능이 우수하며, 메이저 API와 병행하여 비용 절감 및 품질 향상에 활용할 수 있습니다. 🎯
- 오픈 소스 모델을 API로 제공하는 서비스들은 상용 모델 대비 저렴하고, 커스텀 튜닝 모델 배포에 용이하며, 특이하거나 특정 목적에 특화된 모델들을 쉽게 활용할 수 있게 합니다. 🌐
- 자체 LLM 서비스 구축은 최적화 지식, 막대한 장비 및 전력 비용이 필요하며, 동시 접속자 대응에 어려움이 있어 연구, 테스트, 프로토타입 제작 외에는 API 활용이 더 효율적입니다. 💸
- AI 서비스 기획 시 '모델 중심적 사고'는 모델의 기능에 맞춰 서비스를 구상하는 방식으로, 새로운 시장 개척에 유리할 수 있습니다. 💡
- '서비스 중심적 사고'는 사용자 편익을 우선하고 이를 위한 기술(AI 포함)을 확보하는 방식이나, AI 서비스로 인식되기 어렵고 AI 시대에 밀려나는 경우가 많습니다. 📉
- '에이전트 중심적 사고'는 AI 에이전트가 서비스 자체로서 편익을 실현하는 워크플로우 설계에 중점을 두며, B2B 시장에서는 성공적이나 B2C 시장에서는 아직 생소합니다. 🤖