How to Run Multi-Modal Experiments in LangSmith Playground
- LangSmith Playground는 텍스트 기반 에이전트뿐 아니라 이미지, PDF, 오디오 등 멀티모달 데이터 실험에도 활용 가능 🖼️.
- 멀티모달 콘텐츠 평가를 위해 첨부 파일과 참조 출력이 포함된 데이터 세트 생성 필요 🗂️.
- LM이 사전 정의된 스키마에 따라 정보를 식별하고 추출하도록 프롬프트 로직 테스트 ⚙️.
- 출력의 핵심 측면을 반영하는 품질 평가 지표 정의 📊.
- LangSmith UI에서 데이터 세트를 업로드하여 멀티모달 데이터 세트 생성 가능 ➕.
- 데이터 세트 예시에 입력, 참조 출력 및 첨부 파일 추가 📎.
- 출력 스키마를 활성화하여 필드가 이상적인 형식으로 출력되도록 설정 ✅.
- LangSmith는 즉시 사용 가능한 정확성 평가기를 제공하며, 이를 수정하여 사용 사례에 맞게 조정 가능 ✏️.
- 다양한 모델을 테스트하여 멀티모달 콘텐츠와 더 잘 상호 작용하는 모델을 찾을 수 있음 🤖.
- 실험 결과를 비교하여 모델 선택에 대한 정보에 입각한 결정을 내리고 프롬프트를 반복적으로 테스트하여 품질 지표를 개선할 수 있음 💡.