목차
- 내 PC에서 도는 무료 AI, Ollama란?
- Ollama 다운로드 및 PC 설치 방법
- 첫 AI Model 다운로드 (내 PC 사양에 맞는 AI 모델 추천)
- Ollama UI 기본 설정 + 테스트해 보기
- 마무리 및 다음 단계 예고
안녕하세요, 오늘은 무료로 PC에서 AI를 활용하는 방법을 간단히 안내해보려 합니다. 최근 ChatGPT에서 일부 모델을 무제한으로 사용할 수 있도록 서비스를 제공하면서 AI 모델에 대한 접근성이 좋아졌습니다. 하지만 이러한 모델은 여전히 web상에서만 사용할 수 있고, 활용에 있어 제한되는 부분이 존재합니다. 그래서 오픈 소스를 활용하면 모델은 다소 뒤처질 수 있지만 보다 활용도가 넓은 시스템을 구축할 수 있지 않을까 하는 생각을 하게 되었고, 그 과정에서 ollama와 일부 무료 LLM을 알게 되었습니다. 이번 글을 시작으로 무료 LLM을 PC에서 사용하는 방법과 python tool 및 MCP 등 외부 환경까지 연동하여 사용할 수 있는 방법을 직접 탐구하고 공유해보려 합니다. 보다 효율적인 방법을 알고 계시거나 궁금하신 사항이 있으시면 언제든지 댓글 부탁드립니다.
1. 내 PC에서 도는 무료 AI, Ollama란? (로컬 AI의 장점과 차이점)
Ollama란, PC에서 LLM을 쉽게 관리하고 사용하는 것에 초점을 준 프로그램입니다. LLM이라는 에너지를 다룰 수 있는 엔진이라고 보시면 됩니다. 여기에 많이들 들어보신 Open Claw, Open Web UI와 같은 툴을 붙여서 Ollama라는 엔진에 바퀴, 의자를 붙일 수 있습니다. 어떤 엔진, 의자, 바퀴를 사용하는지에 따라 오토바이, 자동차, 혹은 비행기를 만드실 수도 있습니다. 물론 그런 경우엔 고사양 PC가 필요할 수도 있습니다.
일반적으로 사용하시는 AI와의 차이점이라면, 보통 알고 계시는 ChatGPT, Claude, Gemini와 같은 AI는 LLM 모델이 각 기업의 서버에 존재하고, 사용자가 요청하는 사항을 받아서 답을 전달하는 형태라고 보시면 됩니다. 일반 인터넷을 접속하듯이 PC는 사용자와 LLM 사이의 전달자 역할을 할 뿐입니다.
이러한 차이점으로 인해 로컬 AI는 보통 낮은 수준의 모델이 공개되어 있고, 개인 PC의 장비 성능에 영향을 받습니다. 반대로 상용 AI 모델은 기업의 서버를 사용하기 때문에 PC 사양으로부터 자유로운 대신 기업에서 정한 비용/사용량 정책의 제한을 받을 수 있습니다.
2. Ollama 다운로드 및 PC 설치 방법
Ollama 설치 방법은 생각보다 간단합니다. 아래 링크를 클릭하여 홈페이지에 제공된 링크를 클릭하면 pc os에 맞춰 다운로드 링크가 나오게 되고, 해당 링크를 클릭하면 설치 파일을 다운로드하실 수 있습니다.
3. 첫 AI Model 다운로드 (내 PC 사양에 맞는 AI 모델 추천)
처음 Ollama를 설치/실행하시면 아직 어떤 AI Model도 설치되어있지 않은 상태입니다. 여기서 ollama에서 제공하는 클라우드 LLM을 사용하시는 방법도 있고, 로컬 PC에 설치해서 사용하시는 방법이 있습니다. 저는 로컬 머신에 다운로드하는 방법을 선택했기 때문에 제 PC에서 원활하게 사용할 수 있는 모델을 선택해야 했습니다.
어떤 모델이 적절한지는 GPU 탑재 여부, RAM 크기와 같은 부분으로 확인할 수 있습니다.
| 내 PC 사양 (RAM / VRAM) | 추천 모델 | 특징 및 적합 용도 |
| 8GB RAM (일반 사무용/노트북) | gemma4:e2b, gemma4:e4b | 적은 메모리 점유, 빠른 기본 대화 |
| 16GB RAM / GPU 8GB | gemma4:12b | 속도와 한국어 이해도의 균형 |
| 32GB RAM / GPU 12GB+ | gemma4:26b | 복잡한 추론 및 정교한 답변 |
모델에 대한 상세 정보는 아래 링크를 통해 각 모델에 대한 세부 정보와 다운로드 횟수와 같은 정보를 확인하실 수 있습니다.
저는 Gemma4:E4B가 제일 적절하다고 판단해서 해당 모델을 선택했습니다.
설치를 하려면 powershell/CMD에서 아래 명령어를 입력하시면 됩니다.
(처음엔 pc를 한 번 재시작해야 할 수 있습니다.)
ollama pull gemma4:E4B
4. Ollama GUI 기본 설정 + 첫 프롬프트 작성해보기
Ollama GUI를 처음 실행하시면 아래 그림과 같은 모습을 보실 수 있는데요.
왼쪽에 있는 settings에서 몇 가지 간단한 설정을 하실 수 있습니다.
- Ollama Account: Ollama에 가입하여 로그인 시 Cloud 모델을 포함하여 일부 기능 사용 가능
- Cloud: Ollama의 클라우드에 있는 모델 및 LLM의 인터넷 사용 가능 (Ollama 계정 필요)
- Auto-Download Updates: 업데이트 자동 다운로드
- Expose Ollama to the network: 타 디바이스가 사용할 수 있도록 개방
- Model Location: LLM 모델을 저장하는 위치입니다.
- Context Length: 로컬 LLM이 한 대화에서 기억하는 문맥의 최대 길이
설정을 마치고 New Chat을 눌러 첫 대화를 시작하실 수 있습니다!
대화를 시작하기 전에, 꼭 옆에 있는 모델 설정 부분을 확인해 주세요. 구름 표기가 있는 모델은 ollama 클라우드에서 제공하는 모델이고, 이외에는 기존에 설치한 모델과 다운로드가 필요한 모델 몇 가지가 표기됩니다 (제 경우는 gemma4:26b가 나오네요). 여기서 설치하신 모델을 선택하고 대화를 시작하시면 됩니다.
저는 처음에 자기소개를 시켜봤는데요, 아무래도 일반 개인 PC이다 보니 답변 생성에 1분 이상 걸렸습니다. 따라서 문맥(Context) 길이를 조절해 속도를 확보하는 최적화가 필요합니다. 거기에 context 길이도 짧기 때문에, 가급적 짧게/효율적으로 활용하는 방법을 찾아보려 합니다.
그리고 지금까지 설명드린 기능들만 사용하시면 학습된 내용만 활용하고 웹 접근 및 파이썬 툴 활용과 같은 부분에 제한이 있기 때문에 확장 프로그램의 세팅이 필요합니다.
확장 프로그램은 다음 글에서 다뤄보도록 하겠습니다.
감사합니다!
'PC & AI 활용 도전기' 카테고리의 다른 글
| [Open WebUI] 로컬AI 엔진을 차체에 넣어보자: Open WebUI로 로컬 AI에 확장성 기반을 다지기 (0) | 2026.09.09 |
|---|
