[IntelliJ / local LLM] devoxx genie, ollama를 활용하여 intelliJ에 local LLM Assistant 만들기

나는 지금까지 코딩할 때 gpt를 쓸 일이 있으면 코드 일부를 gpt에 복붙해서 물어봤었다.

그런데 그렇게 번거롭게 할 필요없이 devoxx genie라는 intelliJ 플러그인을 이용하면 LLM에 코드에 대한 질문을 바로 할 수 있다고한다.

 

나는 devoxx genie, ollama, gemma3를 통해서 로컬 LLM 사용 환경을 구성해보려고 한다.

 

DevoxxGenie

https://github.com/devoxx/DevoxxGenieIDEAPlugin

GitHub - devoxx/DevoxxGenieIDEAPlugin: DevoxxGenie is a plugin for IntelliJ IDEA that uses local LLM's (Ollama, LMStudio, GPT4Al

 

 

 

위 깃허브의 Readme에 의하면, Devoxx Genie는 자바 기반의 LLM Code Assistant를 만들 수 있는 인텔리제이 플러그인이다.

Ollama, LMStudio와 같은 로컬 LLM을 사용할 수 있게 해주는 툴과 함께 사용할 수 있고, OpenAI와 같은 클라우드 LLM과도 연동해서 쓸 수 있다고 한다.

 

 

Ollama

https://github.com/ollama/ollama

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large langua

 

Ollma는 LLM(Large Language Model)을 로컬에서 사용할 수 있게 해주는 툴이다.

설치해서 사용할 수도 있고, dockerhub에 ollama/ollama 라는 공식 이미지가 있어서 컨테이너로 띄워서 사용할 수도 있다.

 

 

1. Ollama 설치

아래 페이지로 들어가서 OS에 맞는 Ollma를 설치해주자

https://ollama.com/

Ollama

 

설치 후 실행해주고, 터미널에 버전을 묻는 커맨드를 입력하면 잘 출력되는 것을 볼 수 있다.

 

 

2. Ollama로 gemma3 모델 설치

아래 명령어로 gemma3 모델을 실행할 수 있다. 로컬에 모델 파일이 없는 경우 자동으로 설치해준다.

다 설치되면 맨 하단에 프롬프트를 입력할 수 있도록 입력 창이 생긴다.

ollama run gemma3

 

 

3. Devoxx Genie 플러그인 설치

인텔리제이 상단 > settings > plugin에서 Devoxx Geine를 설치해주자

만약 플러그인에 검색했을 때 안나오는 경우, intelliJ 버전이 너무 오래된 것은 아닌지 확인해보자

(처음에 마켓플레이스에 안떠서 당황했는데, 내가 인텔리제이 2023 버전을 쓰고 있었다,, 2024 버전으로 다시 설치하니 마켓플레이스에서 다운 받을 수 있었다.)

 

settings > devoxx를 검색하면 devoxx genie 플러그인의 환경을 세팅할 수 있다.

Ollama 등의 포트 번호를 바꾸거나 하지 않았다면 기본 설정  그대로 사용하면 된다.

나는 모든 설정을 그대로 두고 "Enable Streaming"만 체크해주었다.

아마 챗지피티 처럼 토큰 단위로 흐르듯이 답변이 나오는 설정인듯 하다

 

devoxx genie 설정

 

streaming LLM의 의미

 

 

4. LLM 사용하기

 

인텔리제이 우측에 devoxx genie 아이콘을 누르면 이렇게 Ollama를 통해 gemma3를 사용할 수 있다

 

Thinking 하는데 굉장히 시간이 많이 걸린다고 생각했는데, 생각해보니 streaming 옵션에 체크해주고 저장을 안했다..ㅎㅎㅎ

스트리밍 체크 안하면 이렇게 되는구나

 

좀 기다리니까 테스트 코드를 짜줬다! 그리고 하단에 코드에서 어떤 파일을 참고했는지도 알려준다.

 

 

스트리밍 모드에 다시 체크하고 다른 프롬프트를 입력하니까 챗지피티처럼 토큰 단위로 답변해준다.

 

 

 

IntelliJ goes AI

그런데 앞으로는 이런식으로 로컬 LLM assistant을 만들지 않아도 될 것 같기도 하다.

인텔리제이 2025.1부터는 goes AI라는 AI assistant를 제공하기 때문이다.

 

그래도 Local LLM은 코드가 밖으로 유출되지 않는다는 것에서 의미가 있으려나

goes AI도 코드를 절대 학습하지 않는다고 써있기는 하지만 혹시..?? 모르는거니까..???

 

그래도 내 개인 맥북에서는 난 사이드 프로젝트 밖에 안하기 때문에 학습돼도 큰 상관없지 않을까 싶다..(애초에 깃헙에 이미 다 있음)

나중에는 goes AI도 사용해보고 비교해보면 좋을 것 같다.

 

 

참고로 Ollama에서 실행할 LLM을 고르기 위해서 몇개 포스트를 읽어봤는데

 

Gemma, Llama 비교글

안타깝게도 난 이해하지 못했다,,, 그래서 뭐가 더 좋은거란 말이지,,

https://kevin-rain.tistory.com/214

GPT, Gemma, Llama3 모델 특징 비교

 

이 글을 보니 gemma3가 경량 모델이면서도 성능이 좋다는 것 같아 gemma3를 실행했다.

https://digitalbourgeois.tistory.com/877

Gemma 3: 차세대 경량 AI 모델, 실용적인 선택인가?

 

적합한 LLM은 어떤 기준으로 고를 수 있는걸까..?? AI는 너무 어렵다

 

 

Devoxx Genie로 AI Assistant 만드는 영상

 

https://www.youtube.com/watch?v=ZfMCyG99xgU