unified + rehype 를 사용하여 경제적인 LLM번역 프로세스 구축하기

간단 소개

unified와 rehype를 사용하여 LLM 번역 프로세스에서 HTML 전처리를 통해 토큰 사용량을 줄이고 번역 품질을 향상시킨 사례를 소개합니다.

AI Summary

AI 번역 프로세스 효율화 배경
- 크리에이트립은 14개 언어로 블로그 콘텐츠를 제공하며, LLM을 활용한 AI 번역 프로세스를 도입하여 콘텐츠 담당자의 리소스를 절감하고자 함.
- 기존 방식의 문제점은 HTML 형식 번역 시 LLM 환각 현상으로 인한 태그 누락, 속성 손실, 과도한 토큰 사용으로 인한 비용 증가였음.
unified와 rehype를 활용한 전처리
- unified는 다양한 형식 파싱 및 변환을 지원하는 생태계이며, rehype는 HTML 파싱 및 조작을 위한 플러그인 집합임.
- HTML 간소화를 위해 unified와 rehype를 선택, HTML을 AST로 변환하여 불필요한 속성 제거 후 번역, 이후 속성 복원하는 방식 적용.
- PoC 결과, 약 40%의 토큰 절감 효과를 확인하고 비용 절감 및 LLM 환각 문제 감소 효과를 얻음.
결론 및 활용
- unified 생태계를 통해 HTML 뿐 아니라 다양한 형식의 콘텐츠를 효율적으로 처리하고 최적화할 수 있음.
- 크리에이트립 내부에서 rehype를 활용한 플러그인을 통해 HTML 콘텐츠 속성 수정 요구사항에 대응하고 있음.