Сколько RAM и VRAM нужно для локальной LLM: 8, 12, 16, 24 ГБ и запуск без видеокарты

Что именно занимает память при запуске LLM

Главная ошибка при оценке — учитывать только файл модели. Во время inference память обычно расходуется как минимум на четыре группы данных.

Поэтому два пользователя с одинаковой видеокартой могут получить разный результат. У одного модель работает с контекстом 8K, а у другого не помещается при 64K. Один запускает только backend, другой одновременно держит браузер, IDE, Docker и Open WebUI.

RAM и VRAM: почему это не одно и то же

VRAM

VRAM — память видеокарты. Если веса и рабочие буферы полностью помещаются туда, GPU не нужно постоянно обмениваться большими объёмами данных с системной памятью. Для локальной LLM это обычно самый быстрый сценарий.

RAM

RAM — системная оперативная память. В ней могут храниться веса при CPU-only запуске либо те части модели, которые не удалось разместить на GPU. При недостатке RAM система начинает использовать swap/pagefile, и производительность может падать очень сильно.

Почему «VRAM + RAM = одна большая быстрая память» — неверно

Некоторые runtimes умеют распределить слои между GPU и CPU. Это позволяет запустить модель, которая больше VRAM. Но данные приходится передавать между устройствами, поэтому такой режим обычно медленнее полной загрузки на GPU.

Как быстро оценить размер весов модели

Для обычной dense-модели можно использовать грубую оценку:

Например, теоретический минимум для 8 млрд параметров при 4 битах:

8 000 000 000 × 4 / 8 ≈ 4 ГБ

Но реальный GGUF-файл будет отличаться от этой простой формулы. В нём есть служебные данные, часть тензоров может храниться с другой точностью, а схемы Q4_K_M, Q5_K_M, IQ4 и другие устроены сложнее «ровно 4 бита на каждый параметр».

Эти цифры специально приведены как нижняя оценка весов, а не как требование VRAM. К ним нужно добавить KV-cache, буферы и запас runtime.

Что реально запускать на 8 ГБ VRAM

8 ГБ VRAM — всё ещё рабочий уровень для локального ИИ, особенно если выбирать компактные современные модели и не пытаться сразу использовать максимальный контекст.

Наиболее реалистичные сценарии:

• модели 3B–4B с хорошим запасом;
• модели около 7B–8B в Q4/Q5;
• небольшие coding-модели;
• частичный offload более крупных моделей в RAM;
• локальный чат, суммаризация, небольшие RAG-задачи.

Узкое место появляется, если сам файл весов уже занимает почти все 8 ГБ. Тогда для KV-cache и вычислительных буферов остаётся слишком мало места.

Что реально запускать на 12 ГБ VRAM

12 ГБ дают заметно больше свободы. Помимо 7–8B-класса появляется возможность комфортно использовать многие модели примерно 12–14B в умеренной квантизации.

• 7–8B Q5/Q8 при подходящем контексте;
• 12–14B Q4/Q5;
• мультимодальные модели небольшого и среднего размера;
• более длинный контекст у маленьких моделей;
• частичный GPU-offload 20B+ моделей.

Но «20B» ещё не означает, что модель точно не запустится. У MoE и специальных форматов памяти картина может быть другой. И наоборот, некоторым dense-моделям 12 ГБ будет мало даже при формально подходящем числе параметров.

Что реально запускать на 16 ГБ VRAM

16 ГБ — один из наиболее интересных уровней для домашнего локального ИИ. Он позволяет не только свободнее работать с 7–14B-классом, но и запускать отдельные более крупные модели, специально оптимизированные под такой объём памяти.

Показательный пример — gpt-oss-20b. OpenAI указывает, что модель имеет 21 млрд общих параметров, но только 3,6 млрд активных на токен, и распространяется с нативным MXFP4-квантованием. Официально заявлен запуск примерно в 16 ГБ памяти.

При этом 16 ГБ не означают, что любой 20B dense GGUF будет комфортно помещаться вместе с длинным KV-cache. Всегда нужно смотреть конкретный файл и runtime.

Что реально запускать на 24 ГБ VRAM

24 ГБ — серьёзный домашний уровень. На такой видеокарте многие модели 20–32B-класса в Q4 становятся практичными без тяжёлого CPU-offload.

• 7–14B с большим запасом под контекст;
• 20B-класс;
• многие 27–32B Q4;
• более тяжёлые мультимодальные модели;
• несколько небольших моделей по очереди или серверные сценарии.

Но популярное утверждение «24 ГБ хватает на 70B» требует уточнения. Квантованные 70B действительно можно запускать с частичным размещением в RAM, однако 4-битные веса такого класса сами по себе обычно существенно больше 24 ГБ. Полностью разместить их в VRAM одной 24-ГБ карты обычно не получится.

Можно ли запускать LLM вообще без видеокарты

Да. llama.cpp поддерживает CPU inference, поэтому отдельная видеокарта не является обязательным условием.

Ограничением становится не только объём RAM, но и пропускная способность памяти. При генерации токенов веса модели многократно читаются из памяти, поэтому большой объём медленной RAM не превращает CPU в аналог мощной GPU.

Когда CPU-only имеет смысл

• нужно просто попробовать локальный ИИ;
• используется небольшая 1–8B модель;
• скорость не критична;
• сервер должен быть тихим и энергоэффективным;
• GPU в системе нет, но RAM достаточно.

Когда CPU-only начинает раздражать

• крупные модели;
• длинные ответы;
• кодинг в интерактивном режиме;
• несколько пользователей;
• большой RAG-контекст;
• агентные сценарии с множеством последовательных вызовов.

Сколько системной RAM нужно

Даже если модель работает на видеокарте, системная RAM всё равно нужна ОС, runtime и приложениям. Если модель частично выгружается с GPU на CPU, требования к RAM быстро растут.

Почему увеличение контекста может внезапно закончить VRAM

Контекст — это текст, который модель «видит» в текущем запросе: системная инструкция, история диалога, документы, код и другие токены.

Для обработки уже увиденных токенов Transformer хранит KV-cache. Его объём растёт примерно линейно вместе с длиной контекста. Поэтому переход с 8K к 32K или 128K может заметно увеличить потребление памяти, даже если веса модели не изменились.

Точный размер KV-cache зависит от архитектуры: количества слоёв, KV-heads, head dimension, GQA/MQA и формата самого кэша.

В актуальном llama.cpp можно выбирать тип данных KV-cache отдельно для K и V: среди поддерживаемых вариантов есть f32, f16, bf16, q8_0, q4_0 и другие. Это позволяет уменьшить расход памяти ценой дополнительных компромиссов.

Что такое CPU/GPU offload и зачем он нужен

Если модель больше VRAM, llama.cpp и некоторые другие runtimes могут разместить часть слоёв на GPU, а часть оставить в системной памяти.

Это позволяет запустить модель, которая иначе не поместилась бы на видеокарту. Но слово «запустить» здесь не всегда означает «получить комфортную скорость».

llama.cpp также позволяет отключить перенос KV-cache на GPU и держать его на CPU. Это может освободить VRAM, но добавляет обмен данными и потенциально снижает производительность.

Почему у MoE нельзя смотреть только на «активные параметры»

Mixture-of-Experts (MoE) использует не все экспертные блоки для каждого токена. Например, gpt-oss-20b имеет около 21 млрд параметров всего, но активирует примерно 3,6 млрд на токен.

Это уменьшает вычислительную нагрузку, но не означает, что в памяти нужно хранить только 3,6 млрд параметров. Веса остальных экспертов всё равно являются частью модели.

Apple Silicon: почему там нет обычного деления на RAM и VRAM

На Mac с Apple Silicon CPU и GPU используют общий пул unified memory. Поэтому модель может использовать десятки гигабайт памяти без отдельной дискретной VRAM.

Это делает Mac интересным для локальных LLM с большим объёмом весов, но общий объём памяти также используется macOS и другими приложениями. Нельзя рассчитывать, что все 64 ГБ unified memory полностью доступны модели.

LM Studio официально рекомендует 16 ГБ и более на Apple Silicon; на 8-ГБ Mac программа может работать с маленькими моделями и умеренным контекстом.

Как понять, что запустится на вашем компьютере

Перед скачиванием модели достаточно сделать пять шагов.

1. Узнать объём RAM. Учесть, сколько уже занимает система и рабочие приложения.
2. Узнать точную модель GPU и VRAM. Не путать dedicated VRAM и shared GPU memory в Windows.
3. Посмотреть размер конкретного файла модели. Не ориентироваться только на число параметров.
4. Определить начальный контекст. Для первой проверки достаточно умеренного значения.
5. Оставить запас. Не планировать конфигурацию так, чтобы файл весов занимал 100% доступной памяти.

Почему модель может не запуститься, хотя «по таблице должна»

• слишком большой context length;
• KV-cache хранится в высокой точности;
• часть VRAM занята Windows, браузером или монитором;
• runtime использует дополнительные compute buffers;
• мультимодальная модель загружает vision encoder;
• выбран другой квант, чем в примере;
• архитектура имеет нетипичное соотношение параметров и памяти;
• несколько последовательностей обслуживаются параллельно.

Частые вопросы