- Mozilla가 새로운 기술인 Llamafile를 발표했으며, 이를 통해 하나의 파일에 대형 언어 모델을 배포하고 실행할 수 있다 🤖.
- Llamafile를 Superbase Edge Functions에서 활용하여, LocalHost 880 Port에서 OpenAI 호환 API로 작동한다. 🔌
- Llamafile을 Docker에 포함하여, Flyn, IO 등에서 CPU만을 사용하여 실행 가능하다. 🐳
- OpenAI SDK를 사용하여 Llamafile과 원활하게 소통할 수 있다. 🔁