맥미니로 로컬 LLM을 돌린다는 것 — M6·M5 Pro가 바꾼 계산

요즘 개인이나 소규모 팀이 로컬에서 LLM을 돌리려고 할 때, 선택지는 대략 세 가지로 좁혀진다. 게이밍 GPU를 꽂은 윈도우 PC, 클라우드 GPU 임대, 그리고 맥이다. 이 중에서 맥미니가 유독 자주 거론되는데, 단순히 “애플 제품이라서”가 아니라 구조적인 이유가 있다.

2026년 8월 25일 새 맥미니가 M6와 M5 Pro로 갈아탔고, Apple이 발표 내내 온디바이스 AI를 전면에 내세웠다. 이 시점에서 맥미니가 로컬 LLM 머신으로 무엇이 좋고 무엇이 아쉬운지 정리해본다.

통합 메모리라는 반칙에 가까운 구조

로컬 LLM에서 가장 먼저 부딪히는 벽은 속도가 아니다. 모델이 메모리에 올라가느냐다. 안 올라가면 느린 게 아니라 아예 못 돌린다.

일반적인 PC에서 이 벽은 그래픽카드의 VRAM이다. 그리고 VRAM은 비싸고, 무엇보다 잘 늘어나지 않는다. 소비자용 최상위 GPU도 32GB 선이고, 그 이상을 원하면 데이터센터급 카드로 넘어가야 한다. 가격이 자릿수를 바꾼다.

맥은 CPU와 GPU가 하나의 통합 메모리를 공유한다. 그래서 시스템 메모리를 크게 잡으면 그게 곧 모델을 올릴 공간이 된다.

제품	칩	최대 통합 메모리
맥미니	M6	32GB
맥미니	M5 Pro	64GB
맥 스튜디오	M5 Max	128GB
맥 스튜디오	M5 Ultra	512GB

512GB짜리 GPU를 개인이 책상 위에 올려놓는다는 건 다른 경로로는 현실적이지 않다. 물론 이 구성은 949만원부터 시작하지만, 동급 용량을 GPU로 맞추는 비용과 비교하면 이야기가 달라진다.

주의할 점 하나. 통합 메모리 전부를 모델이 쓸 수 있는 건 아니다. macOS는 GPU가 점유할 수 있는 양에 상한을 두는데 기본값이 대략 75% 선이다. iogpu.wired_limit_mb로 조정할 수 있지만 OS와 다른 앱도 돌아가야 하니, 실효 가용량은 표기 용량의 70~80% 정도로 잡고 계획하는 게 맞다.

24시간 켜둘 수 있다는 것

이건 스펙 표에 안 나오지만 실사용에서 크게 체감되는 부분이다.

고성능 GPU를 꽂은 데스크탑은 부하가 걸리면 수백 와트를 먹고 팬이 시끄럽다. 책상 옆에 두고 종일 켜두기가 부담스럽다. 맥미니는 유휴 시 전력이 매우 낮고 부하 시에도 소음이 거의 없다. 손바닥만 한 크기라 자리도 안 잡는다.

그래서 나오는 활용 형태가 상시 구동 에이전트 머신이다. 맥미니를 켜둔 채 로컬 API 서버를 띄워놓고, 노트북이나 폰에서 필요할 때 붙어서 쓰는 방식이다. 코드 리뷰 자동화, 문서 요약 파이프라인, 사내 검색 백엔드 같은 걸 여기에 얹으면 클라우드 비용 없이 계속 돌아간다.

Apple도 이번 발표에서 “책상 옆에서 상시 구동되는 에이전틱 컴퓨팅(always-on, deskside agentic computing)“이라는 표현을 직접 썼다. 마케팅 문구지만, 실제로 사람들이 그렇게 쓰고 있다는 걸 반영한 표현이기도 하다.

속도를 결정하는 건 코어 수가 아니라 대역폭이다

LLM 추론은 두 단계로 나뉘고, 각각 병목이 다르다.

프롬프트 처리(prefill). 입력한 내용을 한꺼번에 읽어들이는 단계. 연산량이 병목이라 GPU 성능과 전용 가속기가 영향을 준다. 체감으로는 “첫 글자가 나오기까지의 대기 시간”이다.

토큰 생성(decode). 답변을 한 글자씩 뱉는 단계. 매 토큰마다 모델 가중치 전체를 메모리에서 읽어야 해서, 메모리 대역폭이 사실상 속도 상한을 정한다. 체감으로는 “글자가 흘러나오는 속도”다.

그래서 로컬 LLM 관점에서 맥의 스펙을 볼 때는 GPU 코어 수보다 대역폭 숫자를 먼저 봐야 한다.

칩	메모리 대역폭	최대 메모리
M4 (구형 맥미니)	120GB/s	32GB
M6 (16GB 구성)	153GB/s	16GB
M6 (24·32GB 구성)	170GB/s	32GB
M5 Pro	307GB/s	64GB
M5 Max	614GB/s	128GB
M5 Ultra	1.2TB/s	512GB

같은 모델을 돌린다면 이 숫자 비율만큼 생성 속도가 벌어진다고 보면 크게 틀리지 않는다.

여기서 Apple이 발표 자료에 굵게 쓰지 않은 항목이 하나 있다. 기본형 16GB M6는 153GB/s이고, 24GB나 32GB로 올려야 170GB/s가 된다. 9to5Mac이 발표에서 강조되지 않은 항목으로 짚은 부분이다. 즉 기본형을 사면 용량과 대역폭에서 동시에 손해를 본다. 뒤에 나올 “메모리를 올려라”는 조언이 여기서 한 번 더 강해진다.

prefill 쪽은 이번 세대에서 크게 개선됐다. GPU 코어마다 Neural Accelerator가 들어가면서, Apple은 LM Studio 기준 M6가 M4 대비 최대 4.8배 빠른 LLM 프롬프트 처리 성능을 낸다고 밝혔다. 긴 문서나 코드베이스를 통째로 넣고 쓰는 패턴에서 유의미한 차이다.

메모리 용량별로 무엇을 돌릴 수 있나

4비트 양자화(Q4) 기준의 대략적인 감각이다. 실제로는 컨텍스트 길이에 따라 KV 캐시가 추가로 메모리를 먹으므로 여유를 둬야 한다.

통합 메모리	현실적으로 돌아가는 모델	성격
16GB	7~8B, 무리하면 14B	요약, 분류, 간단한 코드 보조
24~32GB	14B 편안, 27~32B 가능	실용적인 하한선
64GB	70B급 진입	본격적인 작업 가능
128GB 이상	100B 이상, 긴 컨텍스트 여유	전문 워크로드

여기서 흔히 하는 실수가 하나 있다. 작은 모델을 빠르게 돌리는 것보다, 큰 모델을 느리게 돌리는 게 대체로 더 유용하다. 14B를 초당 40토큰으로 뽑는 것보다 32B를 초당 15토큰으로 뽑는 쪽이 결과물 품질이 낫다. 속도는 기다리면 되지만 모델의 지능은 기다린다고 올라가지 않는다.

그래서 구형 M4 32GB와 신형 M6 16GB를 놓고 고민한다면, 로컬 LLM 목적에서는 M4 32GB 쪽이 유리하다. 32B 모델이 한쪽에서는 돌아가고 한쪽에서는 아예 안 올라가는 차이는 대역폭 차이로 메울 수 있는 게 아니다.

소프트웨어는 이미 성숙했다

몇 년 전만 해도 맥에서 LLM을 돌리는 건 삽질에 가까웠지만 지금은 아니다.

Ollama. 명령어 한 줄로 모델을 받아서 띄운다. 로컬 API 서버가 자동으로 열려서 다른 앱에 붙이기 쉽다. 처음 시작하기에 가장 편하다.

LM Studio. GUI 기반. 모델 탐색과 다운로드, 양자화 선택, 채팅까지 한 앱에서 된다. Apple이 성능 수치를 인용할 때 쓰는 앱이기도 하다.

llama.cpp. 저수준 제어가 필요할 때. 양자화 옵션과 메모리 배치를 세밀하게 다룰 수 있다.

MLX. Apple이 직접 만든 애플 실리콘 전용 머신러닝 프레임워크. 통합 메모리 구조를 전제로 설계돼서 같은 하드웨어에서 더 나은 성능이 나오는 경우가 많다. 파인튜닝 실험도 가능하다.

CUDA 생태계에 비하면 아직 얇지만, “모델 받아서 돌린다”는 목적에는 부족함이 없다.

프라이버시와 비용

이건 성능 얘기는 아니지만 로컬 LLM을 선택하는 실질적인 이유다.

데이터가 나가지 않는다. 사내 소스코드, 고객 정보, 미공개 문서를 다뤄야 하는 상황에서 외부 API 호출 자체가 금지된 조직이 많다. 폐쇄망 환경이라면 선택지가 아예 로컬뿐이다.

토큰 비용이 0이다. 대량의 문서를 반복 처리하거나, 실험적으로 프롬프트를 수백 번 돌려보는 작업에서 API 요금은 빠르게 쌓인다. 로컬은 전기값만 든다. 사용량이 많으면 하드웨어 값을 몇 달 만에 회수하는 경우도 있다.

항상 쓸 수 있다. 서비스 장애, 요금제 변경, 모델 단종, 사용량 제한에 영향받지 않는다. 한번 받아둔 모델은 그대로 남는다.

솔직한 단점

균형을 위해 짚어야 할 부분들이다.

프롬프트 처리 속도는 여전히 NVIDIA에 밀린다. 대역폭 덕에 토큰 생성은 잘 버티지만, 대량의 입력을 밀어넣는 상황에서는 전용 GPU 쪽이 확실히 빠르다. 긴 문서를 자주 통째로 넣는 워크플로라면 이 차이가 누적된다.

학습과 파인튜닝은 여전히 불리하다. 추론은 잘 되지만 학습은 다른 문제다. 생태계도 도구도 CUDA 쪽이 압도적이다. 맥은 추론 머신으로 보는 게 맞다.

메모리를 나중에 못 늘린다. 통합 메모리는 칩에 붙어 있어서 구매 후 업그레이드가 불가능하다. 이게 가장 중요한 실무적 조언으로 이어진다. SSD는 외장으로 때울 수 있지만 메모리는 못 때운다. 예산이 빠듯하면 저장공간을 줄이고 메모리를 올려라.

큰 모델은 결국 느리다. 512GB에 200B 모델을 올릴 수 있다는 것과 그게 쾌적하게 돌아간다는 것은 다른 얘기다. 올라가긴 하지만 초당 몇 토큰 수준이 될 수 있다.

메모리 값이 오르고 있다. 이번 세대 가격 인상의 상당 부분이 RAM 원가 때문이라는 분석이 나온다. 실제로 M6 맥미니는 전 세대보다 100달러 오른 899달러에서 시작한다(국내 149만 9천원, M5 Pro 299만원). 메모리를 넉넉히 잡으라는 조언과 예산이 정면으로 부딪히는 지점이다.

그래서 어떤 구성을 사야 하나

용도별로 정리하면 이렇다.

LLM을 처음 만져보는 단계라면 M6 맥미니 기본형으로도 시작은 된다. 다만 16GB는 7~8B 모델에서 멈춘다는 걸 알고 사야 한다. 조금 더 쓸 거라면 M6 32GB 구성이 실질적인 최소 권장선이다. 앞서 본 대로 대역폭도 여기서 170GB/s로 올라간다.

개발 보조로 진지하게 쓸 거라면 M5 Pro에 64GB. 70B급이 들어가고 대역폭도 307GB/s라 체감 속도가 확연히 다르다. Thunderbolt 5도 여기부터 들어간다(M6는 Thunderbolt 4).

여러 대를 묶어서 쓸 생각이라면 Thunderbolt 5가 있는 M5 Pro 이상.

최대 모델을 다뤄야 한다면 맥미니를 벗어나 맥 스튜디오다. M5 Max 429만원, M5 Ultra 949만원부터. Apple은 M5 Ultra가 M3 Ultra 대비 최대 4.3배의 AI 연산 성능을 내며 “거대한 LLM을 전부 온디바이스로 구동”할 수 있다고 밝혔다. 512GB 구성은 10월 말 출시다.

신형 맥미니와 맥 스튜디오 모두 9월 22일부터 판매된다.

마무리

맥미니가 로컬 LLM 머신으로 좋은 이유를 한 줄로 압축하면 이렇다. 큰 메모리를 상대적으로 합리적인 가격에, 조용하고 전기를 적게 먹는 작은 상자에 담을 수 있다.

절대 성능에서 최상위 GPU를 이긴다는 얘기가 아니다. “돌릴 수 있느냐”라는 1차 관문을 넘는 비용이 다른 경로보다 낮고, 그 상태로 24시간 켜두는 부담이 적다는 것이다. 개인 작업 환경이나 소규모 팀의 상시 추론 서버로는 이 조합이 꽤 설득력 있다.

구매를 고민 중이라면 순서는 명확하다. 먼저 어떤 크기의 모델을 돌릴지 정하고, 거기에 필요한 메모리를 계산한 뒤, 그 다음에 칩을 고른다. 반대 순서로 가면 대체로 후회한다.

출처

이 글에는 제휴 링크가 포함될 수 있습니다. 본문의 어떤 내용도 금융·투자 조언이 아닙니다.