[#2 LLM Tutorial With RAG] 내 컴퓨터에 Chat GPT를 설치하자 With Ollama

간단 소개

Ollama를 사용하여 개인 PC에 Chat GPT를 설치하고, Hugging Face의 LLM 모델과 Modelfile을 통해 LLM을 제어하는 방법을 설명합니다.

AI Summary

Ollama 소개 및 설치
- Ollama는 LLM을 쉽게 사용할 수 있도록 포장하는 플랫폼으로, 다양한 인터페이스(Web, Code, CLI)를 지원한다.
- 윈도우 명령 프롬프트에서 ollama --version 명령어를 통해 설치 확인이 가능하다.
Hugging Face를 활용한 LLM 모델 사용
- Hugging Face는 인공지능 모델 가중치가 공유되는 커뮤니티로, EEVE와 같은 한국어 LLM을 사용할 수 있다.
- gguf 파일 형태로 저장된 모델을 다운로드하여 사용하며, 라이선스 정책 확인이 필수적이다.
Modelfile을 통한 LLM 제어 및 실행
- Modelfile은 LLM의 작동 방식(출력 글자 수, 답변 형태 등)을 정의하는 설정 파일이다.
- Modelfile과 gguf 파일을 같은 폴더에 넣고 ollama create my_llm -f ./Modelfile 명령어로 설치 후, ollama run my_llm으로 실행한다.
- Code 레벨에서 LLM을 구현하고 RAG 기술을 도입하여 Hallucination 문제를 해결할 수 있다.