LLM as a Judge를 활용한 CodeBuddy 성능 평가

간단 소개

LLM as a Judge를 활용한 CodeBuddy 성능 평가 및 활용 경험 공유, 편향 문제와 완화 전략 제시.

AI Summary

LLM as a Judge 개요
- LLM을 활용하여 응답의 정확성, 일관성 등을 평가하는 방법
- 자동 평가, 주관성 최소화, 일관된 평가 기준 유지
- CodeBuddy에서 PR 기반 코드 리뷰 태스크 성능 평가에 활용
LLM as a Judge 유형 및 제약 사항
- Pointwise, Pairwise, Listwise 방식 존재
- 자기 편향(Self bias), 장황 편향(Verbosity bias), 위치 편향(Position bias) 등의 제약
- 편향 완화를 위해 다양한 평가자 모델 활용, 반복 평가, 프롬프트 개선 필요
CodeBuddy에서의 활용 및 실험 결과
- 모델 성능 평가, 코드 개선 태스크에 LLM as a Judge 활용
- Pairwise 방식, Win/Loss/Tie, Explanation, Scoring 등을 적용
- System/User message 구분 방식에 따른 평가 결과 차이 확인
- 위치 편향 검증 실험 결과, 개선 태스크에서 두드러진 위치 편향 확인