Локальная нейросеть без видеокарты: как запустить LLM на CPU

Можно ли вообще запускать LLM без видеокарты

Да. В отличие от обучения крупных нейросетей, локальный inference квантованной модели может выполняться обычным центральным процессором.

В актуальной feature matrix llama.cpp для CPU поддерживаются:

• x86-процессоры с AVX/AVX2;
• ARM с NEON;
• K-quants;
• MoE-архитектуры;
• квантованный KV-cache;
• Flash Attention на поддерживаемых CPU-сценариях.

Ollama тоже имеет CPU-only режим: официальный Docker-вариант запускается вообще без GPU runtime, а при отсутствии поддерживаемой GPU локальная модель может работать через CPU.

Что ограничивает скорость CPU-only LLM

При генерации каждого следующего токена модель многократно читает большой объём весов. Поэтому производительность зависит не только от количества ядер.

Поэтому старый сервер с десятками ядер не всегда автоматически быстрее современного настольного CPU. Если все ядра упираются в одну и ту же ограниченную пропускную способность памяти, дополнительные потоки дают мало пользы.

Сколько RAM нужно для LLM без видеокарты

Если GPU нет, веса модели размещаются в системной памяти. Поэтому RAM должна вмещать сам файл модели, KV-cache, runtime, операционную систему и остальные программы.

Эта таблица показывает не «максимально возможный файл», а разумный диапазон для системы, которой ещё должна пользоваться ОС.

Подробно про расчёт памяти: сколько RAM и VRAM нужно для локальной LLM.

Какие модели лучше для CPU-only

Для процессора особенно важен размер весов. Поэтому маленькая новая модель часто полезнее старой 13–20B, которая отвечает по несколько секунд на токен.

Размеры выше — текущие готовые пакеты Ollama. Они удобны как реальный ориентир, а не как абстрактный расчёт параметров.

Почему не Gemma 4 E2B как самая маленькая

Название E2B означает effective parameters, но текущий пакет Gemma 4 E2B в Ollama занимает около 7,2 ГБ. Для слабого CPU-only компьютера это уже намного тяжелее Qwen3 4B на 2,5 ГБ.

Поэтому выбирать модель для CPU нужно по реальному размеру весов и архитектуре, а не только по числу в названии.

Как запустить локальную LLM на CPU через Ollama

Ollama — наиболее простой путь, если не хочется вручную скачивать GGUF и задавать параметры.

После установки:

ollama run qwen3:4b

Во время работы откройте другой терминал:

ollama ps

Если модель работает полностью на процессоре, Ollama показывает CPU-размещение. На машине без поддерживаемой GPU это нормальный режим, а не ошибка.

Полный гайд: Ollama на Windows.

Как запустить GGUF полностью на CPU через llama.cpp

llama.cpp лучше подходит для экспериментов и оптимизации, потому что позволяет напрямую задавать число потоков, отключать GPU layers и тестировать производительность.

llama-cli -m model.gguf -ngl 0 -t 8 -c 8192

Здесь:

• -m — путь к GGUF;
• -ngl 0 — не выгружать слои на GPU;
• -t 8 — число CPU threads;
• -c 8192 — размер контекста.

Сколько CPU threads использовать

Один из неожиданных моментов llama.cpp: больше потоков не всегда означает больше tokens/s.

В официальных performance tips прямо рекомендуется не завышать --threads. Если генерация работает подозрительно медленно, разработчики предлагают начать с одного thread, затем постепенно увеличивать значение и найти точку, после которой ускорение перестаёт расти.

Как честно измерить скорость CPU inference

В llama.cpp есть отдельный инструмент llama-bench. Он измеряет prompt processing и text generation и умеет перебирать разные числа threads.

llama-bench -m model.gguf -ngl 0 -t 2,4,6,8,12 -p 512 -n 128

Смотрите отдельно:

• pp — prompt processing, насколько быстро модель «читает» входной текст;
• tg — text generation, скорость появления новых токенов.

Почему нельзя обещать «10 токенов/с на Ryzen 7»

Даже одинаковый CPU может работать с DDR4 или DDR5, разным количеством каналов, разными таймингами и другой моделью. Q4 и Q8 тоже дают разный объём чтения данных.

Поэтому корректнее измерить конкретную модель на конкретной машине, чем ориентироваться на один чужой скриншот.

А если дискретной видеокарты нет, но есть встроенная графика

iGPU — отдельный сценарий. Некоторые встроенные AMD/Intel GPU могут использовать Vulkan или другие поддерживаемые backend llama.cpp и ускорять часть вычислений.

Но shared memory остаётся той же системной RAM, а реальная скорость зависит от конкретного iGPU, драйвера и пропускной способности памяти.

Если Vulkan работает нестабильно или даёт маленький прирост, не бойтесь оставить чистый CPU — это нормальный вариант.

Можно ли использовать старый ПК как сервер для локальной LLM

Да, особенно если задача не требует мгновенного ответа.

В свежих обсуждениях LocalLLaMA пользователи показывают реальные CPU-only системы на старых офисных ПК с 32 ГБ RAM и запускают 8–12B Q4-модели. Это подтверждает саму практичность сценария, но опубликованные community-скорости нельзя переносить на любой старый компьютер.

Хорошие задачи для старого CPU-сервера:

• суммаризация ночью;
• классификация документов;
• локальная база знаний с небольшой LLM;
• простые автоматизации;
• чат, где допустима задержка;
• embedding-задачи;
• фоновые batch-процессы.

Что проверить у старого CPU

• поддержку AVX/AVX2;
• объём и число каналов RAM;
• реальную частоту памяти;
• температуры при длительной 100% нагрузке;
• потребление электричества 24/7.

Ноутбук без дискретной GPU

На современном ноутбуке с 16–32 ГБ DDR5 CPU-only LLM может быть вполне рабочей, особенно в 1–4B-классе.

Но длительная генерация нагружает процессор постоянно. Следите за:

• температурой;
• троттлингом;
• профилем питания Windows;
• шумом вентилятора;
• работой от батареи.

CPU-only домашний AI-сервер: когда это разумно

Если нужен тихий локальный сервис, а не максимальная скорость, CPU-only система имеет несколько преимуществ:

• не нужно покупать дорогую GPU;
• проще подобрать компактный корпус;
• можно использовать уже имеющееся железо;
• большой объём обычной RAM дешевле большого объёма VRAM;
• подходит для фоновых задач и небольшой домашней базы знаний.

Но большой серверный Xeon с сотнями гигабайт RAM не обязательно будет энергоэффективнее одной потребительской GPU. Считать нужно не только цену покупки, но и ватт·ч на выполненную задачу.

Для чего CPU-only LLM реально полезна

Что не стоит пытаться делать на слабом CPU-only ПК

• запускать огромную модель только потому, что она помещается в swap;
• использовать 128K context без реальной необходимости;
• строить интерактивного coding-agent на модели, выдающей несколько токенов в секунду;
• держать несколько больших LLM одновременно;
• считать HDD подходящей заменой RAM;
• рассчитывать на pagefile/swap как на «дополнительную оперативную память»;
• ожидать GPU-подобной скорости от большого количества CPU-ядер.

Как ускорить LLM без покупки видеокарты

1. Уменьшите модель. Переход с 8B на 4B часто даёт больший эффект, чем тонкая настройка threads.
2. Используйте Q4. Для CPU K-quants — типичный практичный выбор.
3. Уменьшите контекст. Не держите 32–128K, если задача укладывается в 4–8K.
4. Подберите threads через benchmark. Максимум логических потоков не всегда оптимален.
5. Закройте тяжёлые приложения. Особенно браузер и IDE на машине с 16 ГБ RAM.
6. Проверьте двухканальную память. Один модуль RAM может ограничивать пропускную способность сильнее, чем кажется.
7. Попробуйте iGPU/Vulkan. Если железо и драйвер поддерживаются.
8. Используйте свежую сборку llama.cpp. CPU kernels продолжают оптимизироваться.

Имеет ли смысл апгрейд RAM

Если модель не помещается — да, это обязательный апгрейд. Если она уже помещается, увеличение RAM с 32 до 64 ГБ само по себе не ускорит генерацию. Скорость может измениться только косвенно: например, если новые модули дают больше каналов или другую рабочую частоту.

Имеет ли смысл переход DDR4 → DDR5

Для memory-bound inference более высокая пропускная способность полезна. Но итог зависит от CPU, конфигурации памяти и модели, поэтому конкретный прирост нужно измерять, а не обещать заранее.

CPU-only, iGPU или дешёвая б/у видеокарта

Поэтому начинать имеет смысл с уже имеющегося CPU. Если локальный ИИ действительно вошёл в ежедневный workflow, тогда становится понятно, за что именно платить при покупке GPU.

Частые вопросы