Gen AI Zoo - Seattle: Pixeltable - Open-source Python library for multimodal AI Data infrastructure
- Pixel Table은 멀티모달 AI 데이터 워크로드를 위한 오픈 소스 Python 라이브러리입니다. 🧰
- 비디오, 오디오, 문서 등 다양한 형식의 데이터를 효율적으로 관리하고 처리할 수 있습니다. 🎬
- 데이터의 청킹, 캐싱, 버전 관리, lineage 추적을 용이하게 합니다. 💾
- 데이터베이스 시스템처럼 테이블을 생성하여 구조화된 데이터와 비구조화된 데이터를 함께 저장하고 관리할 수 있습니다. 📊
- 비디오를 프레임으로 분할하는 등의 데이터 변환 작업을 오케스트레이션 할 수 있습니다. ⚙️
- UDF(User Defined Function)를 사용하여 컴퓨터 비전 모델이나 LLM을 통합하고, 데이터에 메타데이터를 추가할 수 있습니다. 🤖
- 계산된 컬럼을 통해 데이터 처리 파이프라인(DAG)을 정의하고, 지속적인 오케스트레이션을 수행할 수 있습니다. 📈
- 임베딩 인덱스 추가 및 다양한 작업을 수행할 수 있습니다. 🔍
- 단일 Python SDK를 통해 멀티모달 데이터베이스, 오케스트레이션 시스템, 포괄적인 쿼리 언어를 제공합니다. 🐍
- 데이터 lineage, 버전 관리, 병렬 처리, 비동기 실행, 자동 평가 기능을 제공합니다. ✅