모델을 내 컴퓨터에서 돌릴 때 먼저 걸리는 것은 속도가 아니라 메모리입니다.
AI 모델을 내 컴퓨터에서 직접 돌려 보려는 분이 늘었습니다. 인터넷 없이 쓰고, 자료를 밖으로 보내지 않고, 사용량 걱정을 하지 않아도 된다는 점이 이유입니다. 실제로 해 보면 처음 부딪히는 벽은 성능이 아니라 메모리입니다. 모델이 통째로 메모리에 올라가야 하는데 자리가 모자라면 아예 시작되지 않거나, 느린 저장 장치를 오가며 체감 속도가 크게 떨어집니다. 그다음 벽은 속도를 무엇으로 재느냐입니다. 첫 글자가 나오기까지의 시간과 그 뒤 글자가 나오는 속도는 다른 지표이고, 체감에 미치는 영향도 다릅니다. 구체적인 수치는 기기와 설정에 따라 크게 달라지므로 여기서는 판단 기준만 정리합니다.
메모리부터 계산한다
모델의 크기는 대체로 매개변수의 개수와, 그 하나를 몇 비트로 저장하느냐로 정해집니다.
같은 모델이라도 저장 방식에 따라 필요한 자리가 몇 배씩 차이 납니다. 그래서 이름이 같아도 실제로 돌릴 수 있는지 없는지가 갈립니다.
메모리는 모델만 쓰는 것이 아닙니다. 운영체제와 다른 프로그램이 이미 쓰고 있고, 대화가 길어지면 그만큼 추가로 더 듭니다.
그래서 딱 맞는 크기를 고르면 대개 실패합니다. 여유를 두고 한 단계 작은 쪽을 고르는 편이 결과가 낫습니다.
| 무엇이 메모리를 쓰나 | 설명 | 주의 |
|---|---|---|
| 모델 자체 | 매개변수 × 저장 비트 수 | 가장 큰 몫 |
| 대화 내용 | 주고받은 내용이 쌓임 | 길어질수록 늘어난다 |
| 운영체제와 다른 앱 | 이미 쓰고 있는 몫 | 남은 양으로 계산해야 한다 |
| 여유분 | 갑자기 늘어날 때 대비 | 없으면 도중에 멈춘다 |
양자화가 무엇을 맞바꾸는가
모델 이름 뒤에 붙는 표기 중에 저장 정밀도를 뜻하는 것이 있습니다. 이것을 낮추는 작업을 양자화라고 부릅니다.
숫자 하나를 더 적은 비트로 저장하니 파일이 작아지고 필요한 메모리도 줍니다. 대신 원래 값과 미세하게 달라집니다.
그 차이가 답에 얼마나 영향을 주는지는 모델과 작업에 따라 다릅니다. 일반적인 대화에서는 잘 드러나지 않다가 계산이나 형식이 엄격한 작업에서 먼저 드러나는 편입니다.
그래서 판단 순서를 이렇게 잡았습니다. 우선 돌아가는 크기부터 찾고, 실제로 쓸 작업으로 답을 비교해 본 뒤, 부족하면 한 단계 올립니다. 반대 순서로 하면 시작조차 못 합니다.
속도는 두 가지로 나눠 본다
"느리다"는 말 안에 서로 다른 두 가지가 섞여 있습니다. 나눠 보면 손댈 곳이 달라집니다.
하나는 보낸 내용을 읽고 첫 글자를 내놓기까지의 시간입니다. 보낸 내용이 길수록 늘어납니다.
다른 하나는 그 뒤로 글자가 이어지는 속도입니다. 이쪽은 대체로 일정합니다.
체감은 앞쪽이 좌우합니다. 첫 글자가 늦으면 전체가 느리게 느껴지고, 첫 글자가 빨리 나오면 뒤가 조금 느려도 견딜 만합니다.
| 지표 | 무엇을 뜻하나 | 무엇에 영향받나 |
|---|---|---|
| 첫 응답까지 | 보낸 내용을 읽는 시간 | 보낸 내용의 길이 |
| 이어지는 속도 | 글자가 나오는 속도 | 모델 크기와 기기 |
| 전체 시간 | 두 가지의 합 | 답의 길이 |
| 체감 | 느리다는 느낌 | 주로 첫 응답까지 |
돌려 보기 전에 확인할 것
설치부터 하고 안 되는 이유를 찾는 것보다, 몇 가지를 먼저 확인하는 편이 빠릅니다.
- 지금 남아 있는 메모리가 얼마인지 실제로 본다
- 받으려는 파일의 크기와 저장 정밀도 표기를 확인한다
- 저장 공간이 파일 크기의 두 배 이상 남았는지 본다
- 내 기기의 연산 장치를 실제로 쓰는 설정인지 확인한다
- 긴 대화를 쓸 계획이면 그만큼 여유를 더 잡는다
- 노트북이면 전원을 꽂고 시험한다
노트북에서 생기는 차이
같은 기기라도 상황에 따라 결과가 달라집니다. 이걸 모르면 측정값이 오락가락합니다.
먼저 발열입니다. 오래 돌리면 온도가 올라가고, 성능이 낮아지면서 속도가 떨어집니다. 처음 1분과 10분 뒤가 다릅니다.
다음은 전원입니다. 배터리로 쓸 때 성능을 낮추는 설정이 기본인 경우가 많습니다.
그래서 비교는 같은 조건에서 합니다. 전원을 꽂고, 다른 무거운 프로그램을 닫고, 몇 분 돌린 뒤의 값을 봅니다.
한 번만 재고 판단하지 않는 것도 중요합니다. 처음 실행은 파일을 읽어 올리는 시간이 포함되어 느립니다.
| 조건 | 결과에 미치는 영향 | 재는 방법 |
|---|---|---|
| 첫 실행 | 파일을 올리느라 느리다 | 두 번째부터 잰다 |
| 오래 돌린 뒤 | 발열로 느려질 수 있다 | 몇 분 뒤 값을 본다 |
| 배터리 사용 | 성능이 제한될 수 있다 | 전원을 꽂고 잰다 |
| 다른 앱 실행 중 | 메모리가 모자란다 | 닫고 잰다 |
| 대화가 길어진 뒤 | 느려지고 메모리가 는다 | 긴 상태에서도 잰다 |
언제 직접 돌릴 만한가
직접 돌리는 방식이 늘 유리하지는 않습니다. 맞는 자리가 따로 있습니다.
자료를 밖으로 내보내기 어려운 작업, 인터넷이 불안정한 환경, 같은 작업을 아주 많이 반복하는 경우에는 장점이 분명합니다.
반대로 어려운 추론이 필요하거나, 가끔만 쓰거나, 최신 정보를 다뤄야 하는 작업에는 잘 맞지 않습니다.
둘 중 하나를 고를 필요도 없습니다. 정리와 분류처럼 단순한 일은 직접 돌리고, 판단이 필요한 일만 따로 맡기는 식으로 나누는 방법이 실제로는 가장 무난했습니다.
자주 묻는 질문
Q. 어느 정도 사양이면 되나요?
A. 기기와 모델, 저장 정밀도에 따라 크게 다릅니다. 사양표를 보기보다 지금 남은 메모리를 확인하고 그보다 작은 파일부터 시험해 보는 편이 확실합니다.
Q. 양자화하면 답이 나빠지나요?
A. 차이가 생기지만 작업에 따라 체감이 다릅니다. 실제로 쓸 작업으로 두 가지를 비교해 보고 결정하세요.
Q. 처음 실행이 유난히 느립니다
A. 파일을 메모리에 올리는 시간이 포함되어 있습니다. 두 번째 실행부터 재는 것이 맞습니다.
Q. 대화가 길어지니 점점 느려집니다
A. 주고받은 내용이 쌓이면서 읽어야 할 양이 늘기 때문입니다. 필요 없는 앞부분을 정리하면 다시 빨라집니다.
확인 자료
- 기기에서 직접 실행해 본 경험과 일반적으로 통하는 동작 원리
- 메모리·저장 정밀도·응답 속도의 관계에 대한 일반 원리
- 구체 수치는 기기와 설정에 따라 달라 별도 기재하지 않음
이 글은 직접 겪은 작업 기록을 정리한 것입니다. 확인하지 못한 항목은 본문에 쓰지 않았습니다. 대표 이미지는 이해를 돕기 위한 참고용 이미지입니다.