# LLM 으로 프로그래밍시 도움을 받고 싶은데, 보안상 외부 서비스는 사용할 수 없고 해서
# 로컬에서 ollama 으로 llama 모델을 사용해 보자.
brew install --cask ollama
# 참고로 M1 MAX 을 사용중인데
# Llama3.3 --> 70B(parameters) 43GB(size) --> 메모리 풀 사용으로 결과 출력이 안돼 포기
# Llama3.2 --> 3B(parameters) 2.0GB(size) --> 빠르게 잘 나온다.
# Mistral --> 7B(parameters) 4.1GB(size) --> llama3.2 와 비슷한 성능
# 모델 다운로드
# 모델은 ~/.ollama/models 에 저장되고 (ollama rm 으로 지울 수 있다.)
ollama pull llama3.2
ollama pull mistral
# 참고로 터미널에서 별도 프롬프트로 사용할 경우
ollama run llama3.2
# ollama 이 떠 있는 상태에서 curl 요청하면 토큰들이 json 응답으로 온다.
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt":"Why is the sky blue?"
}'
# nvim 에서 ollama 연결을 위한 플러그인 설치(Lazy 플러그인 매니저 사용)
# 참고로 ollama 띄워져 있지 않으면 자동으로 띄운다.
# 이제 Gen 커맨드로 Ask, Change Code, Enhance Code, Review Code 등의 기능을 사용할 수 있다.
# 현재 버퍼 코드 리뷰 하는 경우
:Gen Review_Code
# 특정 부분만 코드리뷰
코드 블럭 선택:Gen Review_Code
# 한글 chat 으로 코드리뷰
:Gen Chat > $text 코드리뷰해줘
# vscode, jetbrains 에서는 continue 를 설치하고 ollama 로 연결
# 설치 후 continue 탭에서 llama 3.2 및 localhost 를 명시한다.
# 사용 예시) review @파일명
# 한국어 사용시
