I Found a Huge Problem With AI Fact-Checking
- AI 팩트체커는 원본 출처가 스스로를 인용하거나 인터넷의 자기 참조적 특성으로 인해 독립적인 증거가 아닌 반복된 정보를 '사실'로 오인하는 중대한 문제를 안고 있습니다. 🔄
- 기존 AI는 자신의 출처(provenance)를 인지하지 못하여, 원본 문서나 관련 콘텐츠를 참조함으로써 신뢰도를 과장하는 경향이 있었습니다. 🤥
- 새로운 해결책은 AI에게 원본 출처를 명시하고, 해당 도메인이나 미러 사이트의 정보를 '비독립적'으로 간주하여 증거에서 제외하도록 지시합니다. 🚫
- OpenAI API의 에이전트 검색 기능을 활용하여, AI가 복잡한 작업을 추론하고 공개 인터넷에서 독립적인 근거를 찾도록 강제합니다. 🧠
- 이로 인해 AI는 원본 주장이 존재하더라도 독립적인 검증이 부족할 경우 '독립적인 확인 부족'을 보고하며, 거짓된 확신을 주지 않습니다. 🧐
- 팩트체크 점수에 '독립적인 협력 필요'라는 새로운 범주를 추가하여, 원본 주장과 단순 반복 주장을 명확히 구분합니다. ✅
- 이러한 시스템은 AI 생성 콘텐츠가 넘쳐나는 시대에 콘텐츠의 무결성을 보존하고, 정보의 의존성 사슬을 드러내며, 진정한 신뢰성을 구축하는 데 필수적입니다. 🛡️