AI 요약관련 정보

• ComfyUI FramePack은 6GB VRAM과 같은 낮은 GPU 메모리에서도 수천 프레임의 긴 영상을 생성할 수 있는 혁신적인 기술입니다. 🚀
• 이 기술은 이전 프레임을 참조하여 다음 프레임을 예측하고 생성함으로써 영상의 자연스러운 연결성과 무제한적인 길이를 가능하게 합니다. 🔗
• 영상 길이와 관계없이 시간 복잡도가 O(1)로 일정하여, 긴 영상을 생성할 때도 각 프레임 생성 속도가 유지됩니다. ⏱️
• 스탠포드 대학 연구진이 개발했으며, ComfyUI 개발자 Ilias Bil과 Kizai가 ComfyUI 래퍼를 통해 쉽게 사용할 수 있도록 구현했습니다. 🧑‍💻
• 설치를 위해서는 ComfyUI custom_nodes 폴더에 GitHub 저장소를 클론하고, 해당 폴더에서 requirements.txt를 설치해야 합니다. 🛠️
• Torch 및 CUDA 버전 호환성(예: Torch 2.7.0은 CUDA 12.4 이상 필요)을 확인하고, 필요시 Torch 버전을 수동으로 맞춰야 합니다. 💡
• FramePack 모델, CLIP Vision, LLaVA LLaMA 3, Hunyan Video VAE 등 여러 모델 파일이 필요하며, 적절한 경로에 배치해야 합니다. 📦
• 워크플로우 설정 시 use_t_cache 활성화, latent_window_size 조절, gpu_memory_to_reserve 설정을 통해 VRAM 사용량을 최적화할 수 있습니다. ⚙️
• 빠른 움직임(특히 손)에서 부자연스러움이 나타날 수 있으며, 고해상도 원본 이미지 사용 시 VAE 디코드 단계에서 OOM 오류가 발생할 수 있습니다. ⚠️
• SDPA 어텐션 모드 사용은 낮은 VRAM 환경에서 OOM을 방지하는 데 도움이 되며, gpu_memory_to_reserve 값을 높여 VRAM 사용량을 조절할 수 있습니다. 📉
• 이러한 프레임 참조 방식은 앞으로 AI 비디오 생성 분야에서 부드럽고 자연스러운 긴 영상 제작의 표준이 될 잠재력을 가지고 있습니다. ✨