Using Godot for mixed-reality livestreaming – badcop – GodotCon 2025
- Godot 엔진을 사용하여 혼합 현실(Mixed Reality) 라이브 스트리밍 구현에 대한 발표 🎦
- OBS Studio의 기능을 Godot 엔진 내에서 구현하여 3D 장면과 결합하고자 함 🧩
- Windows 환경에서 카메라와 데스크톱 화면을 캡처하여 Godot 엔진으로 가져오는 것을 목표 💻
- Spout G를 통해 OBS Studio의 텍스처를 공유하려 했으나, Vulkan 및 DX12 호환 문제 발생 💥
- 실제 카메라와 가상 카메라의 차이로 인해 배경 노이즈를 시뮬레이션하여 부자연스러움을 해결 ⚙️
- Blender와 F-Spy를 사용하여 실제 공간 모델링 및 카메라 매칭 수행 📐
- 윈도우 캡처 기능을 구현하고 투명한 윈도우 객체 처리 과정에서 깊이 버퍼 문제 발생 🖼️
- 여러 렌더링 패스를 사용하여 깊이 버퍼 문제를 해결하고, 윈도우 간의 교차 지점에 빛나는 효과 추가 ✨
- 추가적으로 물리 객체, Twitch 연동, 핸드 트래킹 등의 기능 구현을 계획 🖐️
- 깊이 텍스처를 인코딩/디코딩하여 서브 뷰포트에서 렌더링하는 방식으로 제한된 비트수를 극복 🔢