Локальная LLM на Mac: Apple Silicon, MLX, Ollama и unified memory

Почему Apple Silicon вообще интересен для локальных LLM

На обычном ПК CPU и GPU часто имеют раздельную память: системная RAM отдельно, VRAM видеокарты отдельно. Если модель не помещается в VRAM, часть весов приходится держать в RAM и гонять данные через PCIe.

Apple Silicon использует unified memory architecture: CPU и GPU работают с общей памятью. MLX прямо использует эту архитектуру — arrays живут в shared memory и не требуют обычного копирования CPU ↔ GPU.

Что такое unified memory простыми словами

CPU, GPU и другие блоки SoC обращаются к одной физической памяти. Поэтому нет необходимости держать отдельную копию tensor data в RAM и VRAM.

Именно поэтому сравнение «Mac 64 ГБ против RTX с 24 ГБ VRAM» нельзя делать только по gaming-бенчмаркам.

Но 64 ГБ unified memory не означают 64 ГБ для модели

macOS, WindowServer, браузер, IDE, файловый cache, model runtime и KV-cache тоже используют память.

Поэтому модель размером 60 ГБ на Mac с 64 ГБ памяти — плохая идея для обычной интерактивной работы.

MLX-LM имеет отдельный механизм для крупных моделей: если модель близка к общему объёму RAM, runtime пытается wire memory модели и cache, чтобы избежать сильного падения скорости. Эта оптимизация требует macOS 15 или новее.

Почему M5, M5 Pro и M5 Max при одинаковой памяти — не одно и то же

LLM inference часто упирается в memory bandwidth: при генерации веса модели постоянно читаются из памяти.

В актуальном MacBook Pro:

У Mac Studio M3 Ultra Apple указывает до 819 ГБ/с, а M4 Max — до 546 ГБ/с.

Какой runtime использовать на Mac

Что такое Apple MLX

MLX — фреймворк Apple Machine Learning Research для машинного обучения на Apple Silicon.

Ключевые особенности:

• NumPy-подобный API;
• CPU и GPU;
• lazy computation;
• automatic differentiation;
• векторизация и graph optimizations;
• unified memory без обычного CPU/GPU копирования.

MLX — не только runtime для LLM. Это общий ML framework, поверх которого существует MLX-LM.

MLX-LM: LLM-инструмент поверх MLX

MLX-LM — официальный open-source пакет для генерации текста и fine-tuning больших языковых моделей на Apple Silicon.

Установка

pip install mlx-lm

Чат

mlx_lm.chat --model mlx-community/Qwen3-8B-4bit

Одна генерация

mlx_lm.generate \
  --model mlx-community/Qwen3-8B-4bit \
  --prompt "Объясни разницу между УЗО и дифавтоматом."

MLX-LM умеет работать с Hugging Face Hub, поддерживает quantization, LoRA/full fine-tuning и distributed inference через mx.distributed.

LM Studio на Apple Silicon

LM Studio — удобный вариант, потому что на Apple Silicon умеет работать сразу с двумя ecosystem:

Текущие требования LM Studio для macOS: Apple Silicon и macOS 14+. Разработчики рекомендуют 16 ГБ RAM или больше; 8-ГБ Mac тоже может работать, но только с небольшими моделями и умеренным context.

Ollama на Mac

Ollama официально использует Metal API для GPU acceleration на Apple devices.

ollama run qwen3:8b

Проверить загруженную модель и context:

ollama ps

Для Mac преимущество Ollama — не максимальная тонкая оптимизация под MLX, а огромная ecosystem интеграций и одинаковый API на macOS, Windows и Linux.

llama.cpp на Mac: Metal включён по умолчанию

В актуальной build-документации llama.cpp Metal на macOS включается автоматически. То есть стандартная сборка использует GPU Apple Silicon без отдельного CUDA/ROCm stack.

cmake -B build
cmake --build build --config Release -j

Явно отключить Metal:

cmake -B build -DGGML_METAL=OFF

Или запретить GPU offload уже при запуске:

llama-cli -m model.gguf --n-gpu-layers 0

MLX или GGUF — что лучше именно на Mac

Универсального победителя нет.

Сколько unified memory брать под локальный ИИ

Какие текущие Mac интересны именно для local AI

Mac mini M4 / M4 Pro

Mac mini 2024 остаётся интересным компактным узлом:

• M4: 16 ГБ базово, до 32 ГБ unified memory, 120 ГБ/с;
• M4 Pro: 24 ГБ базово, до 64 ГБ, 273 ГБ/с.

Для домашнего Ollama/MLX-сервера M4 Pro с 48–64 ГБ намного интереснее базового M4, если нужны модели больше 14B.

MacBook Pro M5 / M5 Pro / M5 Max

В текущем MacBook Pro:

• M5 — 153 ГБ/с;
• M5 Pro — 307 ГБ/с;
• M5 Max — 460 или 614 ГБ/с;
• M5 Max доступен до 128 ГБ unified memory.

Для человека, который одновременно хочет ноутбук и серьёзный local AI, Pro/Max интереснее базового M5 именно за счёт bandwidth и объёма памяти.

Mac Studio

Текущий Mac Studio официально существует в вариантах M4 Max и M3 Ultra:

• M4 Max — до 128 ГБ unified memory и до 546 ГБ/с;
• M3 Ultra — до 256 ГБ и 819 ГБ/с.

Это уже специализированная local-AI workstation, где главное преимущество — очень большой единый memory pool.

Как превратить Mac в локальный OpenAI-compatible server

Есть минимум три простых варианта:

• Ollama API;
• LM Studio Local Server;
• MLX-LM HTTP server.

MLX-LM server

mlx_lm.server \
  --model mlx-community/Qwen3-8B-4bit \
  --port 8080

После запуска server слушает localhost и предоставляет API в стиле OpenAI Chat Completions.

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [
      {"role": "user", "content": "Кратко объясни, что такое unified memory."}
    ]
  }'

Coding-agent на Mac: почему MLX стал особенно интересен

Coding-agent создаёт длинные повторяющиеся prompts: system instructions, tool schemas, файлы проекта, diff и история вызовов.

В 2026 вокруг MLX появился отдельный класс server-проектов, оптимизирующих prompt cache, paged KV-cache и agent workloads. Это живой показатель того, что Apple Silicon используют уже не только для одиночного чата.

Но ecosystem пока фрагментирован сильнее CUDA: свежие community-сравнения отмечают, что отдельные optimization features распределены между MLX-LM, llama.cpp, vLLM-Metal и специализированными MLX servers.

Можно ли дообучать LLM прямо на Mac

Да. MLX-LM официально поддерживает:

• LoRA fine-tuning;
• full fine-tuning;
• quantized models;
• distributed fine-tuning.

Это одно из заметных преимуществ MLX: Mac можно использовать не только как inference machine.

Но CUDA ecosystem всё ещё шире по числу training tools, research-кода и готовых оптимизаций. Поэтому Mac хорош для MLX-native fine-tuning, но не является универсальной заменой NVIDIA workstation.

Отдельный гайд: LoRA, QLoRA и fine-tuning локальной LLM.

Можно ли объединить память нескольких Mac

MLX-LM поддерживает distributed inference и fine-tuning через mx.distributed. Это позволяет распределять workload между несколькими Apple Silicon machines.

Но это не означает, что два Mac автоматически превращаются в один компьютер с идеально общей RAM. Network/interconnect latency, model partitioning и software setup остаются важными.

MacBook Air, MacBook Pro или Mac Studio для долгого inference

Пасcивно охлаждаемый MacBook Air может показывать хорошую стартовую скорость, но длительная нагрузка способна снизить частоты из-за температуры.

При сравнении benchmarks смотрите не только первые 30 секунд, а длительный generation test.

Главные ошибки при выборе Mac для локальной LLM

1. Покупать мощный чип с минимальной памятью

Для local AI память часто важнее дополнительного CPU core.

2. Считать unified memory эквивалентом VRAM 1:1

Она общая для всей системы, а не выделена только модели.

3. Игнорировать memory bandwidth

Два Mac с одинаковыми 48 ГБ могут заметно отличаться по inference throughput.

4. Думать, что MLX всегда быстрее llama.cpp

Зависит от модели, quantization, prompt processing и версии runtime. Сравнивайте на конкретной модели.

5. Покупать 128 ГБ только ради «будущего»

Сначала определите модельный класс и реальные задачи. Большая память дорогая и не ускоряет маленькую 8B сама по себе.

6. Выставлять server наружу без защиты

MLX-LM server прямо не позиционируется как production-hardened.

7. Сравнивать Mac с RTX только по токенам/с

Нужно учитывать вместимость модели, энергопотребление, шум, мобильность и software ecosystem.

Частые вопросы