LLM으로 프롬프트 실전 성능 평가하기 : feat. Prometheus 2 & OpenAI API

LLM 프롬프트 최적화 및 평가

• LLM 성능 극대화를 위해 프롬프트 최적화는 필수적이며, 응답 품질, 신뢰도, 비용에 직접 영향.
• 정량적 평가는 주관적 판단을 넘어 실제 개선 요소를 파악하는 데 중요하며, 환각 탐지, 정확성, 효율성 등 다양한 지표 활용. 주요 프롬프트 평가 방식
• 인간 평가는 신뢰도 높으나 비용/시간 소모. **LLM 기반 평가(LLM-as-a-judge)**는 고성능 LLM으로 응답을 평가하며 인간 평가와 유사도가 높음. Prometheus 2와 OpenAI API 활용 비교
• Prometheus 2: prometheus-7b-v2.0 모델로 절대 평가. 맥락/문장 구조 평가에 강하나, 환각 탐지 및 최신 정보 검증에 취약. 비용 효율적.
• OpenAI API (gpt-4.1): 웹 검색 연동으로 사실 확인 및 환각 탐지에 강점. 성능 우수, 다국어 지원. 토큰 사용량 많아 비용 부담.