오프라인 AI 챗봇을 내 PC 에 설치 하는 쉬운 방법

이제 정말 다양한 분야에서 AI 를 활용을 하고 있는데요. 이런 AI 서비스들을 이용을 하기 위해서는 인터넷에 연결이 되어 있어야 하지만 오프라인 AI 챗봇을 내 PC 에 설치를 해서 인터넷 연결 없이도 AI 서비스를 활용할수 있는 다양한 방법이 있습니다. 이번 글에서는 내 PC 에 바로 사용할수 있는 AI 챗봇을 설치 하는 방법에 대해서 알아 보도록 하겠습니다. 방법들중에서 아주 간단한 방법을 소개해 드리려고 하니 활용해 보세요. 

Jan.ai 설치 하기

그래서 이번 포스팅에서 소개해 드리려고 하는 서비스는  Jan.ai 라는 앱입니다. 웹 사이트에서 프로그램을 다운로드 받아 설치만 하시면 아주 쉽게  AI 챗봇 서비스를 이용을 할수가 있습니다. 최근에 많이 알려져 있는 다양한 종류의 모델들을 사용을 해볼수가 있는데요. 

내 PC 에서 AI 챗봇을 사용을 한다는 의미는?

내 PC 에 직접 AI 챗봇을 설치를 하고 사용을 하기 위해서는 어느정도의 PC 사양이 뒷받침 되어야 합니다. 특히 GPU 가 좋을수록 조금더 다양한 모델과 빠른 응답을 기대 할수가 있습니다. 

GPU 와 CPU 그리고 메모리같은 내 PC 하드웨어를 사용을 해서 많이 알려져 있는 Meta(Llama), Google(Gemma), Microsoft(Phi), Mistral(Codestral, Mistral_7B)와 같은 모델들을 사용을 해볼수가 있습니다. 이런 모델들에 대한 정보는 Open LLM 리더보드 에서 순위를 확인을 해볼수도 있습니다. 

코딩을 많이 하신다면 내 PC 에서 바로 활용할수 있는 코딩에 특화되어 있는 모델들을 사용을 하시면 많은 도움이 되지 않을까 싶습니다. 이번 포스팅에서는 그런 모델들중에서 그렇기 크지 않은 Qwen2.5 Coder 14B 모델을 사용을 해보도록 하겠습니다. 

Jan.ai 설치 방법

프로그램을 설치 하기 위해서 Jan.ai 홈페이지 로 이동을 하신후에 OS 에 맞는 버전을 다운로드 받으시면 됩니다. Jan.ai 는 MacOS, 윈도우, 리눅스 모두 지원을 합니다. 

프로그램을 다운로드 하신후이 실행을 하시면 아래와 같은 화면의 앱이 실행이 되는걸 볼수가 있습니다. 사용하는 방법은 그렇게 어렵지 않습니다. 그냥 사용하고 싶은 모델을 다운로드 받아서 사용을 하면 됩니다 .

모델 다운로드 받기

사용하고 싶은 모델들은 See More 에서 더 확인이 가능합니다. 각각 사이즈도 확인이 가능하고 어떤 모델인지 간단하게 설명을 볼수도 있습니다. Download 를 클릭을 하면 그냥 바로 다운로드가 시작이 됩니다. 환경에 따라서 다운로드가 되는 시간은 차이가 있을수 있습니다. 

다운로드가 완료가 되면 사용을 할수 있도록 Use 라고 나오게 되는데요. 사용하고 싶으시면 Use 를 눌러서 이용을 하시면 됩니다. Download 를 받지 않았는데 Use 라고 나오는 애들도 있는데 그건 온라인으로 사용이 가능한 모델들입니다. 

오프라인 AI 챗봇 사용하기

이제 AI 챗봇을 바로 사용을 해볼수가 있습니다. 원하는 질문을 하시면 바로 응답이 되는데요. 한글도 자연스럽게 사용이 가능하네요. 다만, 내 PC 자원을 사용을 하기 때문에 다소 느리거나 챗봇에서 응답을 주는동안에 엄청나게 FAN 이 빠르게 돌아 갈지도 모릅니다. 당연히 사용률도 많이 높아 지는게 보일거구요. 

ChatGPT 등을 사용을 하면 답변이 상당히 빠르게 나오는데 로컬로 오프라인사용을 하니 굉장히 천천히 응답이 나오네요. 

그리고 내 PC 에 설치해서 사용을 하는만큼 세세하게 내가 원하는 설정을 해서 사용을 할수가 있습니다. 그리고 여러개의 모델들을 다운로드 받아서 필요할때 바로바로 바꿔 가면서 사용을 할수도 있습니다. 

이상으로 이번 포스팅에서는 내 PC 에 오프라인에서 동작을 하는 AI 챗봇을 설치 하고 사용하는 방법에 대해서 알아 보았습니다. 오프라인으로 AI 챗봇을 사용을 하고 싶으신 분들은 어렵지 않게 설치 할수 있으니 설치후에 활용해 보시면 좋을거 같습니다. 

다만, 내 PC 하드웨어를 활용하기 때문에 스펙에 따라서 처리 속도가 확연히 차이가 날수 있습니다. 그래도 개발 하시면서 오프라인으로 코딩에 도움을 받고 싶으시면 활용하면 좋을거 같아요. 그럼 도움이 되셨길 바라면서 이만 포스팅 마치도록 하겠습니다. 도움이 되셨다면 하단에 구독 & 공감 많이 부탁 드려요.