- AWS EC2 인스턴스를 사용하여 Open-Source LLM (Llama-3.1, Gemma-2 등)을 10분 안에 배포할 수 있습니다. ☁️
- GPU가 통합된 AMI (Deep Learning Base OSS Nvidia driver GPU AMI Ubuntu 22.04)를 사용하면 설정이 간편해집니다. 💻
- ollama를 사용하여 간단한 Go 스크립트를 생성하여 API 키를 추가하거나 확장할 수 있습니다. 🛠️
- ollama 스크립트는 OpenAI와 호환되는 구조를 제공하여 오픈-소스 API를 위한 기본 틀을 제공합니다. 🤝