Домашний AI-сервер для локальной LLM: железо, Ollama, Open WebUI и удалённый доступ

Зачем вообще отдельный AI-сервер

Если локальная модель нужна только иногда на одном игровом ПК, отдельная машина не обязательна. Но сервер начинает иметь смысл, когда LLM превращается в инфраструктуру.

Свежие обсуждения домашних AI-серверов в 2026 году часто сводятся к одной проблеме: пользователю нужен персональный ассистент для документов, календаря, писем и Home Assistant, но бюджет ограничен. Это хороший сценарий именно для отдельной машины — если правильно подобрать размер модели под VRAM.

Как выглядит нормальная домашняя архитектура

Если нужен RAG, к этой схеме добавляются embedding-модель и vector database. Если сервер используется для Home Assistant, сам Home Assistant лучше оставить независимым: выключение экспериментального AI-сервера не должно останавливать свет, отопление и базовые автоматизации.

Почему сборку AI-сервера нужно начинать с GPU

Для локальной LLM главное ограничение — память, где находятся веса и KV-cache. На GPU это VRAM.

Можно купить дорогой 16-ядерный процессор и 128 ГБ RAM, но если видеокарта имеет только 8 ГБ, быстрый GPU-inference всё равно ограничен примерно этим объёмом. Большая модель уйдёт в CPU-offload и потеряет скорость.

Поэтому сначала определите, какой класс моделей вам нужен:

• 7–8B — чат, простые tools, лёгкий coding;
• 12–14B — заметно сильнее при умеренных требованиях;
• 20–32B — серьёзный локальный assistant/coding/reasoning;
• 70B+ — уже другой бюджет, multi-GPU или большой объём unified memory/RAM.

Детально по моделям: какие локальные LLM выбирать для 8, 12, 16 и 24 ГБ VRAM.

Какой объём VRAM выбирать в 2026 году

NVIDIA официально указывает 16 ГБ GDDR7 для RTX 5060 Ti и RTX 5070 Ti, 24 ГБ GDDR6X для RTX 3090 и 32 ГБ GDDR7 для RTX 5090. Для локальных LLM именно объём памяти часто важнее игровой позиции карты в линейке.

12 ГБ: минимальный разумный серверный старт

12 ГБ уже позволяют полностью держать на GPU многие 7–14B модели. Это заметно практичнее 8 ГБ, особенно если сервер должен обслуживать tools, RAG или несколько приложений.

16 ГБ: современный средний класс

Здесь появляется больше свободы для 14B и отдельных 20B-моделей. Например, gpt-oss-20b рассчитан примерно на 16 ГБ памяти, хотя большой контекст всё равно требует запаса.

24 ГБ: домашний sweet spot

Именно поэтому б/у RTX 3090 остаётся популярной в local AI: 24 ГБ VRAM дают доступ к классу моделей, который 12–16 ГБ уже ограничивают.

32 ГБ: одна GPU без multi-GPU сложности

RTX 5090 с 32 ГБ GDDR7 даёт ещё 8 ГБ сверх привычного 24-ГБ уровня. Для local AI это означает не только более крупную модель, но и больше места под KV-cache, vision и параллельные запросы.

Какой процессор нужен AI-серверу

Если основная модель полностью находится на GPU, CPU уже не должен быть флагманским.

CPU занимается:

• запуском контейнеров;
• токенизацией и частью runtime;
• RAG ingestion;
• embeddings, если они не на GPU;
• Open WebUI;
• Docker и системными сервисами;
• CPU-offload, если VRAM не хватает.

Более сильный CPU нужен, если планируется большой CPU-offload, несколько embedding/rerank задач, heavy document processing или сервер выполняет ещё и другие функции.

Сколько системной RAM ставить

Для 24-ГБ GPU я бы рассматривал 64 ГБ RAM как практичный домашний уровень. Это не обязательная математическая пара, а удобный запас для реальной системы.

Сколько SSD нужно под локальные модели

Модели быстро съедают диск. Даже если одновременно запускается одна, пользователь обычно хранит несколько вариантов и quantizations.

Сама генерация не требует постоянного чтения модели с SSD после загрузки в RAM/VRAM, поэтому экстремальная скорость Gen5 NVMe редко важнее ёмкости и надёжности.

Для моделей используйте SSD, а не HDD. HDD можно оставить для архивов и резервных копий.

Блок питания: где нельзя экономить

AI-нагрузка может держать GPU под высокой нагрузкой гораздо дольше, чем обычная игра. Поэтому блок питания должен иметь нормальный запас и подходящие кабели.

При выборе смотрите:

• рекомендации производителя конкретной GPU;
• потребление CPU;
• пиковые нагрузки;
• качество кабелей и разъёмов;
• режим 24/7;
• температуру внутри корпуса.

Корпус и охлаждение важнее красивой сборки

Сервер может генерировать ответы часами, индексировать документы и обслуживать несколько пользователей. Это длительная нагрузка.

Для домашнего AI-сервера важны:

• прямой приток воздуха к GPU;
• 2–3 нормальных intake fan;
• эффективный exhaust;
• свободное пространство вокруг видеокарты;
• неперегретый NVMe;
• пылевые фильтры;
• возможность чистить сервер без полной разборки.

Undervolt для 24/7

На некоторых GPU разумный undervolt или power limit способен заметно уменьшить шум и энергопотребление при умеренной потере throughput. Но конкретные значения зависят от карты, поэтому готовый профиль из чужого форума копировать нельзя.

Linux или Windows для AI-сервера

Для отдельного сервера, который будет стоять без монитора и работать 24/7, обычный Ubuntu/Debian-подобный Linux чаще проще в эксплуатации. Для первого теста на уже имеющемся ПК Windows тоже полностью пригодна.

Если нужен именно многосервисный гипервизор, на сайте уже есть отдельный материал: Proxmox VE для домашнего сервера.

Ollama как backend домашнего сервера

Ollama удобна тем, что управляет моделями и предоставляет API. По умолчанию локальный API работает на порту 11434.

Для сервера в домашней сети Ollama должна слушать LAN-интерфейс, а firewall — разрешать доступ только из доверенной сети.

OLLAMA_HOST=0.0.0.0:11434

Open WebUI: нормальный интерфейс для домашнего сервера

Open WebUI даёт web-чат, пользователей, файлы, Knowledge Base и подключения к нескольким inference backend.

Официальный Quick Start поддерживает как отдельный Open WebUI, так и образ, где Ollama находится в том же контейнерном стеке.

docker run -d \
  -p 3000:8080 \
  --gpus=all \
  -v ollama:/root/.ollama \
  -v open-webui:/app/backend/data \
  -e WEBUI_SECRET_KEY=YOUR_LONG_SECRET \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:ollama

Для более прозрачной архитектуры я предпочитаю разделять Ollama и Open WebUI: inference можно обновлять, перезапускать или переносить независимо от интерфейса.

Когда вместо Ollama нужен llama.cpp server

llama.cpp полезен, когда нужен максимальный контроль над GGUF, context, GPU layers, KV-cache, batching и server parameters.

Актуальный llama-server поддерживает OpenAI-compatible chat/responses/embeddings, Anthropic-compatible Messages, parallel decoding, continuous batching, multimodal и tool use.

llama-server -m model.gguf -c 32768 --port 8080

Если нужно обслуживать несколько запросов одновременно:

llama-server -m model.gguf -c 32768 -np 4

Какая сеть нужна AI-серверу

Сама генерация LLM не требует гигабитов сети: ответы идут текстом. Но большие файлы, модели и RAG ingestion уже чувствительны к LAN.

Сервер лучше подключать кабелем. Wi‑Fi оставьте клиентам.

Как безопасно пользоваться AI-сервером вне дома

Самый простой принцип: не публиковать inference и admin-порты напрямую.

Для личного доступа подойдёт VPN. Например, Tailscale создаёт зашифрованное peer-to-peer соединение между вашими устройствами и позволяет обращаться к домашним сервисам без обычного port forwarding.

Если у вас уже есть собственный WireGuard на роутере, отдельный Tailscale не обязателен. Главное — private network access, а не публичный порт.

Что меняется, если пользователей несколько

Для одного человека главная характеристика — latency. Для семьи или небольшой команды важен throughput.

Несколько одновременных запросов увеличивают:

• KV-cache;
• RAM/VRAM;
• очередь запросов;
• нагрузку на Open WebUI и vector DB;
• среднюю задержку ответа.

Если реальная задача — много пользователей и высокий throughput, домашний Ollama/llama.cpp может перестать быть оптимальным. Тогда стоит смотреть на vLLM или SGLang.

Сколько электричества съедает сервер 24/7

Нельзя считать годовое потребление по максимальному TDP GPU: сервер большую часть времени может простаивать. Но и нельзя ориентироваться только на idle, если LLM активно используется.

Правильный способ:

1. измерить idle из розетки;
2. измерить среднюю мощность при типовом inference;
3. оценить часов активной нагрузки в сутки;
4. умножить на свой тариф.

Power limit и автоматическая выгрузка моделей из памяти могут заметно улучшить домашний профиль потребления.

Три разумных уровня домашнего AI-сервера

Главные ошибки при сборке AI-сервера

1. Покупать мощный CPU и слабую GPU

Для GPU-inference это почти всегда неправильное распределение бюджета.

2. Выбирать видеокарту по gaming benchmark

RTX с большей VRAM может быть полезнее для LLM, даже если игровая карта другого класса быстрее в FPS.

3. Ставить ровно столько RAM, сколько весит модель

ОС, Docker, RAG и offload тоже требуют память.

4. Ставить одну огромную модель на 99% VRAM

Не останется места под context и parallel requests.

5. Пробрасывать Open WebUI/Ollama в интернет

Для личной системы проще и безопаснее VPN.

6. Делать AI-сервер критичным для умного дома

Локальная LLM может зависнуть, обновиться или съесть всю память. Базовые автоматизации должны жить отдельно.

7. Пытаться объединить NAS, HA, gaming и AI без плана

Одна коробка возможна, но GPU passthrough, storage, backup и перезагрузки быстро усложняют эксплуатацию.

Частые вопросы