오픈챗 메시지들로부터 트렌딩 키워드 추출하기

간단 소개

오픈챗 메시지에서 트렌딩 키워드를 추출하고 품질을 향상시키는 통계적 기법과 향후 LLM 활용 방안을 제시합니다.

AI Summary

오픈챗 트렌딩 키워드 추출 배경
- 오픈챗 메인 화면의 낮은 재방문율과 주요 KPI인 메인 화면 방문자 수 증대 필요성 대두
- 채팅방 대신 메시지 콘텐츠 노출을 통해 마이크로 블로그 서비스처럼 활성화를 유도하고자 함
- 메시지 단건의 한계 극복을 위해 유사 주제 메시지들을 묶어 콘텐츠화하는 방식 채택
트렌딩 키워드 선정 및 품질 향상
- 빈도 기반으로 급격한 빈도 증가 단어 선정, Z-테스트 통계량 활용 및 노이즈 효과 감안
- MinHash 기반 메시지 중복 제거로 텍스트 중복 문제 해결, 클러스터 내 다양성 지표 활용
- NPMI 기반 부적절 키워드 필터링 및 MMR 방식으로 상위 키워드 다양성 확보
향후 과제 및 결론
- LLM을 활용한 트렌딩 리포트 생성 및 타 서비스와의 연계 가능성 모색
- 사용자 중심의 콘텐츠 제공을 통해 오픈챗 서비스 활성화에 기여하고자 함