올라마로 로컬 모델을 맥북에 깔면 "내 컴퓨터 안에서 AI가 알아서 일해 주겠지"라는 기대가 생깁니다. 저는 코드를 직접 짜지 않고 AI에게 맡기는 비개발자인데, 7월 말 메모리 24GB 맥북에 올라마와 로컬 모델을 깔고 브라우저 조작까지 시켜 보다가 한참을 막혔습니다. 막힌 곳은 메모리가 아니었습니다.
이 글은 당시 개발 기록에 남은 순서를 따라, 무엇이 설치 문제였고 무엇이 모델 문제였는지 가르는 방법을 정리했습니다. 올라마 공식 문서의 모델 크기와 컨텍스트 기본값도 같이 붙였습니다. 기록에 남은 환경은 애플 실리콘 맥북 프로, 메모리 24GB, 저장공간 1TB입니다.
기록에서 확인되는 흐름
기록의 번호 순서를 표로 줄이면 이렇습니다. 표에서 "성공"은 화면이나 명령 결과로 확인된 것만 적었습니다.
| 순서 | 한 일 | 결과 |
|---|---|---|
| 1 | 올라마에 설치된 모델 목록을 살피고 주력 모델 결정 | gemma4:12b 계열의 맥 전용 버전(12b-mlx)을 주력으로 설치, qwen3:8b는 가벼운 보조 |
| 2 | 코덱스 작업 화면에 로컬 모델 연결 | 연결은 됐지만 브라우저를 직접 열지 못함 |
| 3 | 로컬 모델에게 브라우저 도구(MCP) 설치를 말로 요청 | "지원되지 않음" 응답 |
| 4 | 터미널에서 도구 등록 명령 실행 | 명령을 찾을 수 없다는 오류 |
| 5 | 터미널용 코덱스 도구 설치 후 등록 | 등록 성공, 목록에서 사용 가능으로 표시 |
| 6 | 로컬 모델로 브라우저 열기 시험 | 도구 호출 형식 오류 반복, 브라우저는 열리지 않음 |
| 7 | 같은 설정에서 모델만 원래 코덱스 모델로 교체 | 예시 페이지 접속과 화면 구조 읽기 성공 |
핵심은 6번과 7번의 대비입니다. 도구 설정은 한 글자도 바꾸지 않고 모델만 바꿨더니 바로 됐습니다. 이 실험이 "도구 설치 문제가 아니라 모델 문제"라는 판정을 가능하게 했습니다.
설치에서 걸린 세 가지
모델 문제를 의심하기 전에 설치 단계에서 세 번 걸렸습니다. 모두 초보자가 흔히 겪는 부분이라 남겨 둡니다.
1. 앱과 터미널 도구는 다릅니다. 코덱스 데스크톱 앱은 설치돼 있었지만 터미널에서 쓰는 명령은 따로 설치해야 했습니다. 그래서 등록 명령을 쳤을 때 "명령을 찾을 수 없음" 오류가 났습니다.
2. 설치 스크립트의 질문과 터미널 프롬프트를 혼동했습니다. 설치가 끝나자 "지금 시작할까요" 질문이 나왔고, 질문이 끝난 뒤의 프롬프트에 y를 입력해서 y라는 명령이 없다는 오류가 났습니다. 설치 실패가 아니라 입력 실수였습니다.
3. 새로 설치한 명령은 새 셸에서만 보입니다. 설치 후 셸을 다시 불러오는 명령을 실행하니 명령이 인식됐습니다.
등록 명령의 형식은 "도구 이름 뒤에 두 개의 줄표를 쓰고 실제 실행 명령을 붙이는" 모양이었고, 등록 후 목록에서 사용 가능으로 표시된 것까지 확인했습니다. 목록의 "인증 미지원" 표시는 오류가 아니라 이 도구가 별도 인증을 쓰지 않는다는 뜻으로 해석했습니다.
진짜 막힌 곳, 도구 설치와 도구 사용은 다릅니다
도구가 등록돼 있다고 해서 모델이 그 도구를 쓸 수 있다는 뜻은 아닙니다. 기록에서 로컬 모델은 브라우저 도구를 부르려 했지만 "지원되지 않는 호출" 오류가 반복됐습니다. 모델이 도구에 필요한 이름과 값을 구조에 맞게 내놓지 못한 채, 명령 전체를 한 줄 문자열에 넣어 부르는 식으로 여러 형식을 연달아 시도한 것입니다. 한 번은 17분 가까이 응답과 화면 변화가 없어서 제가 직접 중단했습니다.
이후 정한 중단 기준은 다음과 같습니다. 도구 호출 오류가 두 번 반복되면 같은 형식으로 재시도하지 않습니다. 2~3분 안에 실제 창이 뜨거나 페이지가 이동하는 변화가 없으면 실패로 보고 멈춥니다. 같은 설정에서 모델만 바꿔 원인을 나눕니다.
올라마 공식 문서는 도구 호출(tool calling)을 지원한다고 설명하고, 모델이 도구를 호출하면 그 결과를 다시 넣어 답을 이어 가는 방식을 예제로 보여 줍니다. 다만 모델이 도구 이름과 값을 문서의 형식대로 정확히 만들어 내는지는 문서가 보장하는 부분이 아닙니다. 그래서 내 모델이 이 형식을 잘 지키는지는 설치 뒤에 가장 쉬운 요청으로 따로 확인해야 합니다.
공식 문서의 모델 크기, 24GB 맥북에 맞춰 보기
올라마 공식 모델 페이지에 적힌 파일 크기를 24GB 메모리 기준으로 놓고 비교해 봤습니다. 아래 크기는 올라마 라이브러리 페이지에 표시된 값이고, 실제 실행에는 입력을 담는 공간과 운영체제용 메모리가 더 필요합니다.
| 모델 | 공식 페이지 크기 | 24GB 메모리 기준 비교(직접 판단) |
|---|---|---|
| gemma4:12b-mlx | 7.7GB | 여유 있음 |
| gemma4:12b | 7.7~8.0GB | 여유 있음 |
| qwen3:8b | 5.2GB | 여유 있음 |
| qwen3:14b | 9.3GB | 여유 있음 |
| gemma4:26b-mlx | 18GB | 빠듯함 |
| gemma4:31b-mlx | 19GB | 빠듯함 |
| gemma4:12b-mlx-bf16 | 25GB | 24GB 메모리보다 커서 불가 |
여기서 알 수 있는 것은 12b 급 모델이 24GB 맥북에 편하게 들어간다는 점입니다. 같은 모델 이름이라도 압축하지 않은 형식(bf16)은 25GB라 메모리보다 크다는 점도 눈에 띕니다. 모델 이름만 보고 받으면 안 되고, 이름 뒤에 붙은 형식 표기를 함께 읽어야 합니다.
컨텍스트 기본값도 확인할 점
올라마 공식 문서는 사용 가능한 메모리 크기에 따라 기본 컨텍스트 길이가 달라진다고 안내합니다.
| 메모리(VRAM) | 기본 컨텍스트 |
|---|---|
| 24GiB 미만 | 4천 토큰 |
| 24~48GiB | 3만 2천 토큰 |
| 48GiB 이상 | 25만 6천 토큰 |
문서는 웹 검색, 에이전트, 코딩 도구처럼 긴 문맥이 필요한 작업은 최소 6만 4천 토큰으로 설정하라고 적었습니다. 그리고 컨텍스트를 늘리면 필요한 메모리도 늘어납니다. 제 기록의 실패 원인은 도구 호출 형식이었지 컨텍스트가 아니었지만, 같은 환경에서 에이전트 작업을 시킨다면 이 기본값이 작업에 충분한지 같이 확인해야 합니다. 설정 방법은 올라마 앱의 설정 슬라이더나 실행 전 환경 변수이고, 지금 실제로 할당된 값은 ps 명령으로 볼 수 있다고 안내합니다. 이 명령은 모델이 그래픽 처리 장치(GPU)에 올라갔는지, 일부가 CPU로 넘어갔는지도 함께 보여 줍니다.
문서는 최상의 성능을 위해 모델을 CPU로 넘기지 않는 것이 좋다고 적었으므로, 시험하는 동안 한 번씩 확인해 두세요.
모델 정리와 로컬 모델의 쓸모
기록에는 설치된 모델을 정리한 부분도 있습니다. 같은 역할을 하는 모델이 여러 개 있으면 저장공간만 차지하니, 주력 하나와 가벼운 보조 하나만 남기고 나머지는 지우는 쪽으로 판단했습니다. 지우는 명령은 올라마의 삭제 명령에 모델 이름을 붙이는 형식이었고, 기록 시점에는 삭제를 안내만 했고 실행했는지는 확인하지 못해 "실행 여부 미확인"으로 남겼습니다. 이 글에서도 실제로 지웠다고 쓰지 않습니다.
| 모델 역할 | 기록에서의 판단 | 이유 |
|---|---|---|
| 주력 | gemma4:12b-mlx | 맥 전용 버전, 24GB 메모리에 여유 있게 들어감 |
| 가벼운 보조 | qwen3:8b | 크기가 작아 부담이 적음 |
| 삭제 후보 | 기능이 겹치는 모델 둘 | 저장공간 절약 |
모델이 도구를 못 불렀다고 해서 로컬 모델이 쓸모없다는 결론은 아니었습니다. 기록의 판단은 이렇습니다. 로컬 모델은 개인정보를 밖으로 보내지 않고 비용이 들지 않는다는 장점이 있으니 글을 설명하거나 코드를 만드는 보조 역할로는 쓸 수 있습니다. 반면 브라우저를 열고 클릭하는 에이전트 작업의 주 실행 모델로는 당시 모델이 맞지 않았습니다. 목적을 둘로 나눠 "설명·초안은 로컬, 도구 실행은 다른 모델"로 가는 것이 현실적인 분업이었습니다.
원인을 나누는 진단 순서
이 경험을 순서로 만들면 아래와 같습니다. 어떤 도구를 로컬 모델에 붙이든 같은 순서로 쓸 수 있습니다.
1. 터미널에서 도구 명령이 인식되는지 먼저 확인합니다. 안 되면 설치와 경로 문제입니다.
2. 도구 목록에서 "사용 가능"으로 표시되는지 봅니다. 등록 성공 여부입니다.
3. 가장 쉬운 요청(예시 페이지 열기) 하나만 모델에게 시킵니다.
4. 두 번 실패하면 모델만 바꿔 같은 요청을 합니다. 이때 도구 설정은 건드리지 않습니다.
5. 모델을 바꾸면 되는 경우 모델 문제, 안 되는 경우 설정이나 환경 문제로 좁힙니다.
6. 모델 문제로 판정되면 그 모델은 설명·코드 생성 보조로 쓰고, 도구를 부르는 일은 다른 모델에 맡깁니다.
각 단계에는 통과 기준을 미리 적어 두세요. 예를 들어 3번의 통과 기준은 "정해진 시간 안에 실제 창이 열리고 지정한 주소로 이동한다"입니다. 기준 없이 시작하면 모델이 "접속했다"고 말만 해도 성공으로 착각하기 쉽습니다. 저는 이 기준을 화면에서 직접 확인되는 것(창, 주소, 페이지 제목)으로만 잡았습니다.
헷갈리기 쉬운 점
- "사용 가능"은 등록이 됐다는 뜻입니다. 모델이 그 도구를 쓸 수 있다는 뜻이 아닙니다.
- 메모리에 들어간다고 일을 잘하는 것은 아닙니다. 12b 모델은 24GB 맥북에 편하게 들어갔지만 도구 호출에서는 막혔습니다.
- 구름 표시가 붙은 모델은 클라우드에서 실행됩니다. 내 컴퓨터에서 도는 모델과 구분해서 보세요.
- 기록에 없는 것은 쓰지 않았습니다. 이 글에는 제가 직접 겪은 실패와 공식 문서의 숫자만 담았고, 다른 모델의 도구 호출 성능은 비교하지 않았습니다.
함께 읽으면 좋은 글: 비슷한 막힘을 다룬 바이브 코딩 앱 만들기, 빌드는 됐는데 실제로 안 될 때와 클로드 MCP 연결방법, 웹 설정과 클로드 코드 중 어디에 붙일까를 이어서 보시면 됩니다.
---
출처: gemma4(Ollama 모델 라이브러리) · qwen3(Ollama 모델 라이브러리) · Context length(Ollama 문서) · Tool calling(Ollama 문서) · 개발 기록: AI 개발 환경 구축 기록(2026년 7월 28일)