Локальная нейросеть на ПК: как выбрать и запустить LLM без интернета

Что такое локальная нейросеть и LLM

В поисковых запросах под «локальной нейросетью» обычно понимают модель, которая хранится на вашем диске и выполняет вычисления на вашем процессоре, видеокарте или общей памяти компьютера. В случае текстового чата чаще всего речь идёт о LLM — large language model, большой языковой модели.

Облачный сервис получает ваш запрос через интернет и выполняет вычисления на серверах поставщика. При локальном запуске веса модели находятся на вашем устройстве, а генерация ответа выполняется вашим железом. Интернет обычно нужен для скачивания программы и файлов модели, но после этого базовый inference может работать автономно.

Эти компоненты важно не путать. Ollama — не модель, а среда для запуска и управления моделями. Open WebUI — не LLM, а web-интерфейс, который подключается к Ollama и другим совместимым backend. GGUF — не семейство моделей, а формат, используемый экосистемой llama.cpp и многими локальными инструментами.

Можно ли установить ChatGPT на компьютер и пользоваться без интернета

Сам ChatGPT является сервисом OpenAI. Его нельзя превратить в полностью локальную офлайн-систему простым скачиванием приложения. Однако OpenAI отдельно выпускает семейство gpt-oss с открытыми весами. Эти модели работают на инфраструктуре пользователя или стороннего хостинга и не являются моделями, доступными внутри ChatGPT.

Если нужен «свой ChatGPT», корректнее говорить о локальной LLM с привычным чат-интерфейсом. Такой интерфейс можно получить, например, через LM Studio или Open WebUI, а сама модель может быть gpt-oss, Qwen, Gemma, Mistral или другой.

Зачем запускать ИИ локально

Локальная модель не всегда лучше облачной. Облачные сервисы проще в использовании и позволяют работать с крупными моделями без покупки мощного компьютера. Локальный вариант имеет смысл, когда важен контроль над вычислениями и данными.

• Приватные документы. Текст можно обрабатывать без обязательной отправки поставщику облачной LLM.
• Автономность. После загрузки модели базовый чат может продолжать работать без интернета.
• Локальный API. Модель можно подключить к IDE, домашним сервисам, скриптам, RAG или собственным приложениям.
• Фиксированная версия. Поведение конкретной модели не меняется само по себе из-за обновления удалённого сервиса.
• Нет оплаты за каждый запрос. Но расходы переносятся на железо, электричество, охлаждение, накопители и обслуживание.

При этом локальная LLM сама по себе не получает свежие данные из интернета. Поиск, браузер, внешние API и другие инструменты подключаются отдельно.

Какое железо нужно для локальной нейросети

Универсального «минимального компьютера для LLM» нет. Существуют компактные модели, способные работать только на CPU, и крупные модели, которым нужна рабочая станция или сервер с большим объёмом GPU-памяти.

Поэтому вопрос лучше ставить так: какую модель, в каком формате, с каким квантованием и размером контекста нужно запустить?

RAM, VRAM и unified memory: где хранится модель

VRAM

Если модель полностью или большей частью помещается в память видеокарты, генерация обычно работает быстрее. Для NVIDIA наиболее распространён CUDA-backend. llama.cpp также поддерживает AMD через HIP, Apple Metal, Vulkan, SYCL и другие backend.

RAM

Системная память нужна даже при использовании GPU: операционной системе, runtime, буферам и тем слоям модели, которые не помещаются в VRAM. Многие локальные движки позволяют частично разместить модель на GPU, а остальное оставить в RAM, но это обычно уменьшает скорость.

Unified memory на Mac

На Apple Silicon процессор и GPU используют общую память. Поэтому Mac с 32, 64 или 128 ГБ unified memory нельзя напрямую сравнивать с Windows-компьютером, где RAM и VRAM являются отдельными пулами.

Почему одного размера файла недостаточно

Помимо весов модели память занимает KV-cache, который используется для уже обработанного контекста. Чем длиннее диалог или документ, тем больше может быть расход памяти. Поэтому модель, работающая с 8K контекста, необязательно так же легко запустится с 64K или 128K.

Что такое GGUF и зачем нужна квантизация

Веса языковой модели — это огромное количество чисел. Если хранить их с высокой точностью, требуется много памяти. Квантизация уменьшает точность представления весов, чтобы уменьшить размер модели и требования к RAM/VRAM.

Для локального запуска широко используется формат GGUF. Он тесно связан с экосистемой llama.cpp и поддерживается множеством приложений.

Обозначения вроде Q4_K_M, Q5_K_M и Q8_0 описывают разные схемы квантизации. Нельзя утверждать, что один вариант всегда лучший. Для конкретной модели стоит смотреть рекомендации автора кванта или runtime и сравнивать качество на своих задачах.

Чем запускать локальные модели

LM Studio: самый понятный графический старт

LM Studio подходит пользователю, который хочет скачать модель, загрузить её и начать чат через обычный графический интерфейс. По официальным требованиям для Windows рекомендуется не менее 16 ГБ RAM и хотя бы 4 ГБ выделенной VRAM. Программа доступна также для Apple Silicon и Linux.

Это хороший вариант для первого знакомства, сравнения моделей и локального API без необходимости сразу собирать серверную систему.

Ollama: локальный runtime и API

Ollama работает на Windows как нативное приложение, запускается в фоне и предоставляет локальный API по адресу http://localhost:11434. На Windows поддерживаются NVIDIA и AMD Radeon; документация отдельно описывает CUDA/ROCm/Vulkan-сценарии и хранение моделей на другом диске.

ollama run gpt-oss:20b

Ollama удобен, если локальную модель впоследствии нужно подключить к Open WebUI, IDE, скриптам или другому приложению.

llama.cpp: контроль над GGUF и аппаратным backend

llama.cpp на GitHub — один из ключевых open-source проектов локального inference. Он поддерживает GGUF, CPU+GPU hybrid inference и широкий набор backend: CUDA, HIP, Metal, Vulkan, SYCL и другие. Также в проекте есть локальный HTTP-сервер с OpenAI-совместимым API.

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Open WebUI: web-интерфейс поверх backend

Open WebUI на GitHub не содержит собственной LLM. Он подключается к Ollama, OpenAI-совместимым серверам и другим backend. Это удобно, если нужен браузерный интерфейс, несколько пользователей, работа с документами или единая точка доступа к локальным и облачным моделям.

vLLM: когда нужен полноценный inference-сервер

vLLM на GitHub ориентирован на высокопроизводительный serving и предоставляет OpenAI-совместимый HTTP API. Для одиночного домашнего чата обычно проще Ollama или LM Studio, а vLLM становится интереснее при серверной нагрузке, нескольких пользователях и требованиях к throughput.

Как выбрать локальную модель

Универсальной «лучшей локальной модели» нет. Модель нужно подбирать одновременно под задачу и оборудование.

1. Определите задачу: общий чат, код, русский язык, изображения, документы, tool calling.
2. Проверьте лицензию: доступные для скачивания веса не всегда означают одинаковые права использования.
3. Сопоставьте размер с памятью: быстрая меньшая модель часто полезнее большой модели, постоянно работающей через медленный offload.
4. Проверьте качество русского языка: надпись multilingual сама по себе ничего не гарантирует.
5. Если нужны агенты, проверьте function/tool calling.
6. Не выбирайте модель только по размеру контекста: большой context window увеличивает требования к памяти.

gpt-oss

OpenAI выпускает две open-weight модели: gpt-oss-20b и gpt-oss-120b. Они распространяются по Apache 2.0 и не доступны как модели ChatGPT или через обычный OpenAI API.

Для gpt-oss-20b OpenAI указывает возможность работы примерно с 16 ГБ памяти; в официальном руководстве по Ollama рекомендуется не менее 16 ГБ VRAM или unified memory. Для gpt-oss-120b руководство по локальному Ollama рекомендует не менее 60 ГБ VRAM/unified memory, а в анонсе OpenAI модель описывалась как эффективно работающая на одном GPU с 80 ГБ памяти.

Репозиторий: openai/gpt-oss на GitHub.

Gemma

Google прямо рекомендует LM Studio и Ollama для удобного локального запуска Gemma, а llama.cpp и MLX — для более эффективного локального inference. Для первого теста сама документация Gemma советует начинать с актуальной instruction-tuned модели минимального подходящего размера.

Qwen, Mistral, Llama, DeepSeek

Все эти семейства представлены в локальной экосистеме моделями разного размера и назначения. У них есть варианты для обычного диалога, программирования, мультимодальности и reasoning. Поэтому сравнивать их корректнее не «вообще», а на одной задаче, одном размере и близком уровне квантования.

Как правильно сделать первый запуск

1. Проверьте объём RAM, модель видеокарты и VRAM.
2. Проверьте свободное место на SSD. Библиотека моделей быстро разрастается до десятков и сотен гигабайт.
3. Выберите один runtime: LM Studio или Ollama.
4. Начните с небольшой instruction-tuned модели.
5. Не устанавливайте сразу максимальный context length.
6. Проверьте, используется ли GPU и сколько памяти занято.
7. Оцените скорость генерации и только потом переходите к более крупной модели.

Как проверить, что модель действительно работает без интернета

Название «локальная» ещё не гарантирует, что вся система не обращается наружу. Проверять нужно не только сам inference, но и дополнительные функции.

1. Полностью скачайте модель.
2. Отключите web search и внешние tools.
3. Убедитесь, что не настроен fallback на облачную модель.
4. Отключите Wi-Fi или Ethernet.
5. Перезапустите runtime.
6. Создайте новый чат и задайте вопрос, не требующий актуальных данных.

Если модель отвечает, базовый inference работает локально. Но свежая погода, текущие цены, новости и другие актуальные данные без внешнего источника ей недоступны.

Когда локальную LLM стоит переносить на домашний сервер

Отдельный сервер нужен не потому, что «так правильнее», а когда LLM превращается из эксперимента в постоянный сервис.

• моделью нужно пользоваться с нескольких компьютеров и телефона;
• основной ПК не должен быть включён постоянно;
• нужны Open WebUI, API, RAG и централизованное хранение;
• нужно резервировать конфигурацию;
• нужен контролируемый удалённый доступ по VPN;
• важны мониторинг, охлаждение и резервное питание.

На этом этапе локальный ИИ становится обычной частью домашней IT-инфраструктуры. Начинают иметь значение Ethernet, VLAN, VPN, NAS, SSD, UPS и правила доступа к API.

Насколько локальная модель приватна

Локальный inference позволяет оставить вычисления и исходный запрос на своём компьютере. Но вся система может перестать быть локальной, если подключены внешние компоненты.

• web search отправляет запросы во внешнюю сеть;
• облачные embedding-сервисы получают фрагменты документов;
• cloud fallback может отправить запрос другой модели;
• MCP-серверы и плагины имеют собственные права доступа;
• публично открытый Open WebUI или API требует отдельной защиты;
• логи и резервные копии тоже могут содержать чувствительные данные.

Типичные ошибки при запуске локальной нейросети

Скачивать самую большую модель

Большая модель, которая постоянно работает через CPU offload и отвечает очень медленно, может оказаться менее полезной, чем меньшая модель, полностью помещающаяся в GPU.

Считать размер файла требованием к памяти

Во время inference дополнительно используется контекст, KV-cache и служебная память runtime. Размер GGUF-файла — только часть расчёта.

Ставить максимальный контекст сразу

Увеличение context length может резко повысить расход памяти. Начинайте с умеренного значения.

Путать UI и модель

Open WebUI — интерфейс. Ollama и llama.cpp — runtimes. GGUF — формат. Модель — это отдельный компонент.

Считать локальную модель автоматически актуальной

Доступ компьютера в интернет сам по себе не даёт LLM свежих знаний. Для этого нужен отдельный поисковый или браузерный инструмент.

Полезные проекты на GitHub

Частые вопросы