🎬 ComfyUI 6GB VRAM으로 2분 영상 만든다고? 미쳤다 FramePack!! 😱 #comfyui #video #framepack
- ComfyUI FramePack은 6GB VRAM과 같은 낮은 GPU 메모리에서도 수천 프레임의 긴 영상을 생성할 수 있는 혁신적인 기술입니다. 🚀
- 이 기술은 이전 프레임을 참조하여 다음 프레임을 예측하고 생성함으로써 영상의 자연스러운 연결성과 무제한적인 길이를 가능하게 합니다. 🔗
- 영상 길이와 관계없이 시간 복잡도가 O(1)로 일정하여, 긴 영상을 생성할 때도 각 프레임 생성 속도가 유지됩니다. ⏱️
- 스탠포드 대학 연구진이 개발했으며, ComfyUI 개발자 Ilias Bil과 Kizai가 ComfyUI 래퍼를 통해 쉽게 사용할 수 있도록 구현했습니다. 🧑💻
- 설치를 위해서는 ComfyUI
custom_nodes 폴더에 GitHub 저장소를 클론하고, 해당 폴더에서 requirements.txt를 설치해야 합니다. 🛠️
- Torch 및 CUDA 버전 호환성(예: Torch 2.7.0은 CUDA 12.4 이상 필요)을 확인하고, 필요시 Torch 버전을 수동으로 맞춰야 합니다. 💡
- FramePack 모델, CLIP Vision, LLaVA LLaMA 3, Hunyan Video VAE 등 여러 모델 파일이 필요하며, 적절한 경로에 배치해야 합니다. 📦
- 워크플로우 설정 시
use_t_cache 활성화, latent_window_size 조절, gpu_memory_to_reserve 설정을 통해 VRAM 사용량을 최적화할 수 있습니다. ⚙️
- 빠른 움직임(특히 손)에서 부자연스러움이 나타날 수 있으며, 고해상도 원본 이미지 사용 시 VAE 디코드 단계에서 OOM 오류가 발생할 수 있습니다. ⚠️
- SDPA 어텐션 모드 사용은 낮은 VRAM 환경에서 OOM을 방지하는 데 도움이 되며,
gpu_memory_to_reserve 값을 높여 VRAM 사용량을 조절할 수 있습니다. 📉
- 이러한 프레임 참조 방식은 앞으로 AI 비디오 생성 분야에서 부드럽고 자연스러운 긴 영상 제작의 표준이 될 잠재력을 가지고 있습니다. ✨
데브허브 | DEVHUB | 🎬 ComfyUI 6GB VRAM으로 2분 영상 만든다고? 미쳤다 FramePack!! 😱 #comfyui #video #framepack