10. Unity Sentis XR모바일 기기의 온디바이스 AI 추론 및 최적화 방법
- Unity Sentis 2.0 정식 버전 출시 및 XR 데모 공개 🚀
- 온디바이스 AI는 실시간 추론, 데이터 보안, 인터넷 연결 없이 동작 가능, 맞춤형 트레이닝 장점 👍
- 모델 최적화(Pruning, Quantization)를 통해 온디바이스 AI 사용 가능 모델 증가 ⚙️
- 모바일 환경에서 FPS 및 1% Low FPS 지표를 활용하여 성능 측정 및 최적화 중요 📊
- VR 게임에서 프레임 유지 중요, 발열 문제 해결 위해 프레임 유휴 시간 35% 유지 권장 🌡️
- 센티스 최적화 과정: 모델 선택, 센티스 가져오기, 최적화, 추론, 런타임 배포 ➡️
- 모델 직렬화를 통해 디스크 용량 감소, 로딩 속도 향상, 안정성 확보 💾
- 양자화를 통해 모델 크기 최대 75% 감소 가능 (정확도 감소 가능성 有) 📉
- 픽스드 디멘션 모델 사용 시 센티스에서 더 빠른 추론 가능 📐
- 펑셔널 API를 통해 모델에 필요한 레이어 즉각 추가 및 컴파일 가능 ✨
- GPU 컴퓨트, CPU 등 백엔드 타입 결정 시 모델 및 디바이스 특성 고려 🧠
- 첫 추론 시 더미 익스큐션 실행하여 초기화 지연 방지 ⏱️
- 모델을 쪼개서 실행하여 프레임 분배 및 성능 향상 가능 ✂️
- 웨이트를 이용한 메인 스레드 블로킹 방지 (비동기 처리 활용) ⏳
- 렌더 to 스크린 함수를 통해 화면 출력 최적화 🖼️
- 사용한 텐서는 반드시 해제하여 메모리 누수 방지 🗑️
- 새로운 센티스 데모: 해밀토니안 운동 방정식 시뮬레이션, 블레이즈 모델 활용 (얼굴, 손, 포즈 인식) 🌠
- 유나이트 2022 데모: 바이오닉 비전, 매직 코어, 바디드 아바타, 타임 고스트 등 다양한 사례 소개 🎮
- 타임 고스트 데모에서 센티스는 옷의 변형(클로즈 포메이션)을 만들어내는 데 사용됨 👕