TwelveLabs Marengo를 활용한 Amazon Bedrock에서의 영상 이해 기술 구현

비디오 이해의 복잡성 및 Marengo 솔루션

• 비디오는 멀티모달 요소로 AI 이해에 도전 과제. 기존 단일 벡터 방식은 정보 손실.
• TwelveLabs Marengo는 다중 벡터 아키텍처로 각 모달리티(시각, 오디오, 전사)별 임베딩을 생성, 정교한 분석 가능.
• 이 방식은 비디오의 풍부한 특성을 유지하며 시각, 시간, 오디오 측면의 심층 분석을 지원.

Amazon Bedrock 통합 및 Marengo 모델 기능

• Amazon Bedrock은 TwelveLabs Marengo Embed 3.0 모델을 지원, 실시간 텍스트·이미지 처리로 고속 비디오 검색 및 유사도 매칭 구현.
• Marengo는 비디오에서 visual, transcription, audio 임베딩을 생성하며, 세그먼트 길이 및 타입 설정 가능.
• 단일 API 호출로 비디오를 수백 개의 검색 가능한 세그먼트로 변환, 텍스트, 시각, 오디오 쿼리에 즉시 응답.

OpenSearch Serverless 활용 및 교차 모달 검색

• Amazon OpenSearch Serverless를 벡터 데이터베이스로 활용, Marengo 임베딩 저장 및 관리.
• OpenSearch Serverless는 서버 관리 없이 시맨틱 검색으로 유사 콘텐츠를 빠르게 찾음.
• Marengo의 멀티 벡터 설계는 텍스트, 이미지, 오디오 등 다양한 모달리티 간 교차 모달 의미 검색을 가능하게 함.