Локальная VLM: как анализировать фото, скриншоты и документы без облака

Что такое VLM

VLM — Vision-Language Model — модель, которая работает одновременно с визуальным и текстовым входом. Пользователь передаёт изображение и вопрос, а модель связывает визуальные признаки с языком.

В llama.cpp multimodal support сейчас реализован через libmtmd; актуальная документация заявляет поддержку image, audio и video input. Ollama отдельно имеет vision API, где изображение передаётся вместе с сообщением пользователя.

Что локальная vision-модель реально умеет

VLM и OCR — не одно и то же

Универсальная VLM умеет читать текст на изображении, но её задача шире: понять изображение и ответить на вопрос. OCR-модель оптимизирована именно под распознавание и структуру текста.

В актуальной документации llama.cpp OCR-модели вынесены отдельно: PaddleOCR-VL, GLM-OCR, DeepSeek-OCR, Dots.OCR и HunyuanOCR требуют специфического prompt/input workflow.

Полный материал: локальная нейросеть для PDF и документов.

Какие локальные VLM смотреть в 2026 году

Ниже не «абсолютный рейтинг», а практические классы моделей. Vision quality сильно зависит от задачи: OCR, графики, GUI, фотографии и камеры дают разные результаты.

Qwen3.8 сейчас имеет native image/video understanding, а Gemma 4 — text+image input во всех вариантах семейства. Для слабых систем Qwen3-VL остаётся удобен наличием 2B/4B/8B размеров.

Сколько VRAM нужно для vision-модели

У VLM есть дополнительная нагрузка по сравнению с text-only LLM: изображение проходит через vision encoder/projector и превращается в набор visual tokens.

Подробнее: сколько RAM и VRAM нужно локальной LLM.

Самый простой запуск vision-модели через Ollama

Qwen3-VL 4B

ollama pull qwen3-vl:4b

ollama run qwen3-vl:4b ./screenshot.png "Что изображено? Найди ошибки и перечисли их."

Gemma 4

ollama run gemma4 ./image.png "Что находится на изображении?"

Qwen3-VL в Ollama требует версии 0.12.7 или новее. Если команда не понимает image input, сначала обновите runtime.

Как отправить изображение через Ollama API

В Ollama vision-модель получает изображение через поле images. REST API принимает base64, а SDK может работать с путём к файлу или bytes.

from ollama import chat

response = chat(
    model="qwen3-vl:4b",
    messages=[{
        "role": "user",
        "content": "Что видно на этом скриншоте?",
        "images": ["screenshot.png"],
    }],
)

print(response.message.content)

Multimodal в llama.cpp

Современный llama.cpp умеет принимать image, audio и video через libmtmd. Для пользователя доступны llama-cli, llama-server и llama-mtmd-cli.

llama-server -hf ggml-org/gemma-3-4b-it-GGUF

Актуальный CLI имеет аргументы --image, --audio, --video, --image-min-tokens, --image-max-tokens и --video-fps.

Что такое mmproj

В GGUF multimodal workflow часто состоит из основной языковой модели и отдельного multimodal projector.

llama-server \
  -m model-Q4_K_M.gguf \
  --mmproj mmproj-model.gguf

Скриншоты: один из лучших домашних сценариев VLM

Скриншот содержит одновременно текст, иконки, layout и визуальные связи. Обычный OCR извлечёт текст, но может потерять смысл интерфейса.

Фото документов: когда VLM полезнее обычного OCR

VLM особенно полезна, когда вопрос относится не только к символам: какой столбец относится к строке, что означает диаграмма, где подпись и как связаны таблица и примечание. Но если требуется точное извлечение каждого символа из сотен страниц, нужен специализированный OCR pipeline и проверка.

Электрические схемы и технические рисунки

Для схем VLM может быть полезным вторым мнением: распознать подписи, предложить структуру цепи, перечислить компоненты и помочь сформулировать вопросы.

Камеры: VLM не заменяет обычный детектор событий

Для видеонаблюдения рациональнее каскад: обычный detector сначала отбирает события, VLM анализирует только нужные кадры.

Локальный анализ видео

Qwen3.8 заявляет native image/video understanding, а актуальный llama.cpp CLI имеет отдельные --video и --video-fps. Но видео намного дороже картинки: нужно выбрать кадры, каждый кадр создаёт visual tokens, растут context и prefill time.

Почему изображение может занять много context

Vision encoder преобразует изображение в visual/image tokens. Их количество зависит от архитектуры, разрешения и dynamic-resolution settings.

--image-min-tokens N
--image-max-tokens N

Подробнее: как выбирать context локальной LLM.

Когда анализ изображения действительно остаётся локальным

• скачанная local VLM;
• локальный inference runtime;
• локальный UI/API;
• отключённые cloud fallbacks;
• локальные tools;
• отсутствие автоматической отправки картинки внешнему OCR/API.

Самый простой тест: после загрузки модели отключите интернет и отправьте новое изображение. Если workflow продолжает работать, базовый inference действительно локален.

Как честно сравнить две локальные VLM

Для личного выбора лучше собственный набор изображений, а не одна leaderboard-цифра.

В июле и августе 2026 в LocalLLaMA были отдельные обсуждения лучших local VLM, где участники специально указывали железо, inference engine и реальный use case — потому что vision quality очень плохо сводится к одной общей оценке.

Главные ошибки при локальном vision

1. Выбирать VLM только по числу параметров

Vision encoder, multimodal alignment и training data не менее важны.

2. Использовать screenshot плохого качества

Сильное сжатие, размытие и мелкий текст нельзя полностью компенсировать моделью.

3. Ожидать юридически точный OCR

VLM может нормализовать или придумать символ.

4. Загружать максимальное разрешение всегда

Image tokens растут, context и память расходуются.

5. Считать 256K context бесплатным

Visual tokens занимают часть того же окна.

6. Проверять только demo-картинки

Нужны реальные смазанные фото, чеки, скриншоты ошибок и ваши документы.

Частые вопросы