AI 요약관련 정보

• Ollama를 사용하여 외부 API 없이 자체 모델로 챗봇 사이트 구축 가능 🤖
• AWS GPU 인스턴스(p3.2xlarge)를 사용하여 서버 구축 및 높은 비용 발생 💸
• 쿠다(CUDA) 및 엔비디아 드라이버 설치 과정이 복잡하고 시간 소요 ⏳
• 오픈 웹 UI를 통해 로컬 AI 모델을 쉽게 관리하고 사용할 수 있음 ✨
• 잼마(Gemma)와 같은 다양한 모델을 Ollama에서 다운로드하여 사용 가능 🦙
• GPU 사용량 및 온도 모니터링을 통해 서버 상태를 실시간으로 확인 가능 🌡️
• 모델 변경 시 로딩 시간이 발생하며, 일부 모델은 이미지 해석에 어려움이 있을 수 있음 🖼️