Mac Studio 로컬 AI, 내 모델에 메모리가 얼마나 필요할까?

Mac Studio로 로컬 AI를 쓰려면 모델을 올리는 데 드는 메모리에 대화 기록과 다른 앱이 쓰는 공간을 더해야 합니다. 70B 모델이라고 해서 70GB가 필요한 것은 아닙니다. 같은 모델도 숫자를 저장하는 정밀도와 한 번에 읽힐 문서 길이에 따라 요구량이 달라집니다. 실제로 쓸 모델 파일과 대화 길이를 정하면 구입할 메모리도 더 정확하게 고를 수 있습니다.

여기서는 학습이 끝난 언어 모델로 답을 만드는 추론을 다룹니다. 모델을 처음부터 학습하거나 추가 학습하는 데 필요한 메모리는 별도입니다. 제품 사양은 2026년 9월 24일 확인한 M5 Max·M5 Ultra Mac Studio 기준입니다.

70B와 4비트가 가리키는 것

B는 10억을 뜻하며 70B는 모델의 매개변수가 약 700억 개라는 표시입니다. 매개변수는 학습으로 정해진 숫자입니다. 각 숫자를 16비트로 저장하느냐, 더 적은 비트로 줄이느냐에 따라 파일과 메모리 크기가 바뀝니다. 저장 정밀도를 낮추는 양자화는 메모리를 줄이지만 답변 품질에 영향을 줄 수 있습니다. Hugging Face 양자화 설명도 이 관계를 다룹니다.

가장 단순한 계산은 매개변수 수 × 비트 수 ÷ 8입니다. 아래는 모든 매개변수를 같은 비트 수로 저장한다고 가정한 가중치만의 크기입니다. GB는 10억 바이트로 계산했으며 파일의 부가 정보, 실행 중 임시 공간, 대화 기록은 빠져 있습니다. 실제 다운로드 파일 크기나 필요한 총 메모리와 같지 않습니다.

따라서 표의 35GB를 보고 36GB Mac Studio에 70B 모델이 여유 있게 들어간다고 판단하면 안 됩니다. 양자화 방식에 따라 일부 숫자는 더 높은 정밀도로 남고 실행 프로그램도 공간을 차지합니다. MoE 모델은 여러 부분 모델 중 일부를 골라 계산합니다. 이름에 적힌 활성 매개변수 수만으로 전체 저장량을 계산하면 부족할 수 있습니다. 실제 배포 파일과 실행 도구의 안내가 우선입니다.

문서를 길게 붙이면 늘어나는 메모리

같은 모델로 짧은 이메일을 고치는 일과 긴 보고서 여러 개를 읽히는 일은 요구량이 다릅니다. 모델은 문장을 token이라는 작은 단위로 나눠 처리합니다. context length는 한 번에 고려할 token 범위이며 글자 수와 정확히 일치하지 않습니다.

대화 중간 계산을 재사용하려고 보관하는 KV cache도 메모리를 차지합니다. 사용량은 모델 구조, 대화 길이, cache의 저장 방식에 따라 달라집니다. 답변을 한 번 생성할 때 넉넉했던 구성도 긴 문서를 넣거나 여러 요청을 동시에 처리하면 모자랄 수 있습니다. 최대 context를 무조건 선택할 이유가 없습니다. 평소 읽힐 문서 분량부터 넣어보는 게 좋습니다.

내 파일로 요구량을 미리 보는 방법

LM Studio의 명령 도구는 모델을 실제로 올리지 않고 메모리 예상량을 출력하는 --estimate-only를 지원합니다. 모델을 다운로드한 뒤 lms ls로 식별자를 확인하고 아래 명령의 MODEL_KEY를 그 값으로 바꿉니다.

lms load --estimate-only MODEL_KEY --context-length 8192

8192는 계산을 비교하기 위한 예시입니다. LM Studio 공식 문서에 따르면 예상량에는 context 길이와 일부 실행 설정이 반영됩니다. 같은 모델도 실행 엔진과 버전, 이미지 입력 지원 여부에 따라 예상량이 달라집니다. 이 값이 최종 보증은 아닙니다. 구입 전 시험할 기회가 있다면 실제 문서로 실행해봐야 합니다.

가령 도구가 AI 실행에 42GB를 예상하고 평소 열어두는 앱과 macOS 몫으로 12GB, 추가 여유로 10GB를 잡으면 합계는 64GB입니다. 여기서 12GB와 10GB는 공식 권장값이 아닌 계산 예시입니다. 평소 앱 사용량이 크거나 context를 늘릴 계획이라면 같은 64GB로 결론 내릴 수 없습니다. 실행 후 사용량도 예상치와 대조해야 합니다.

통합 메모리를 전부 모델에 쓰지는 못합니다

Mac Studio의 통합 메모리는 CPU와 GPU가 함께 쓰는 공간입니다. 메모리 64GB에 별도의 GPU 메모리 64GB가 더 있는 구조가 아닙니다. Apple의 MLX는 이런 공유 메모리를 활용하는 머신러닝 프레임워크입니다. CPU와 GPU가 같은 데이터를 다루는 이점은 있지만 운영체제와 다른 앱이 차지하는 공간까지 없어지지는 않습니다.

모델이 메모리에 들어가는지와 답변을 얼마나 빨리 만드는지도 나눠 봐야 합니다. 더 큰 용량은 더 큰 모델을 담는 데 도움이 되지만 용량만 늘렸다고 모든 답변이 빨라지는 것은 아닙니다. 같은 파일과 context로 첫 답변까지 걸리는 시간, 답변이 이어지는 속도를 각각 비교하면 사용 중 답답한 부분을 찾기 쉽습니다.

M5 Max에서 Ultra로 넘어갈 조건

Apple 사양표의 M5 Max는 36GB부터 최대 128GB, M5 Ultra는 96GB부터 최대 512GB를 지원합니다. 메모리 선택지는 칩 구성과 묶여 있으므로 원하는 용량을 모든 GPU 구성에 붙일 수는 없습니다. 목표 모델의 총 요구량이 M5 Max 범위 안에 들어간다면 Ultra의 최대 용량만 보고 올릴 필요가 적습니다.

128GB를 넘는 작업을 실제로 계획하거나 여러 모델을 동시에 유지해야 한다면 Ultra를 검토할 근거가 생깁니다. 512GB 구성은 Apple의 9월 22일 발표에서 10월 말 공급 예정으로 안내됐습니다. 주문 지역의 실제 배송일은 별도로 확인해야 합니다. 아직 쓸 모델을 정하지 않았다면 최대 용량부터 결제할 필요는 없습니다. 모델 하나의 예상량과 실제 대화 길이를 적어보면 필요한 용량이 좁혀집니다.