Локальный OCR без облака: PDF, сканы и документы в текст и Markdown

Что сегодня называют OCR

Классический OCR решает две основные задачи: найти текстовые области и распознать символы. Современный document parsing идёт дальше и пытается восстановить структуру страницы:

• абзацы;
• заголовки;
• колонки;
• таблицы;
• формулы;
• подписи;
• порядок чтения;
• иллюстрации и их связь с текстом.

Классический OCR и OCR-VLM — не одно и то же

Что выбрать под задачу

PP-OCRv6: когда VLM вообще не нужна

PP-OCRv6 вышел 11 июня 2026 года. Это новая классическая OCR-линейка PaddleOCR с тремя размерами:

Medium и Small поддерживают 50 языков одной моделью; Tiny — 49. В официальной документации отдельно отмечены улучшения для цифровых дисплеев, точечно-матричных символов, промышленной маркировки и других специализированных текстов.

Установка

python -m pip install "paddleocr[all]"

CLI

paddleocr ocr -i ./scan.png \
  --use_doc_orientation_classify False \
  --use_doc_unwarping False \
  --use_textline_orientation False \
  --engine paddle

Для обычного чистого скана это часто рациональнее OCR-VLM: меньше модель, меньше latency и проще массовая обработка.

PaddleOCR-VL 1.6: document parser, а не просто распознавание букв

PaddleOCR-VL — специализированная document VLM. Её основа — компактный 0.9B vision-language component, а вся pipeline ориентирована на распознавание структурных элементов страницы.

Актуальная версия PaddleOCR-VL 1.6 вышла 28 мая 2026 года. По данным разработчиков, она достигла 96.3% на OmniDocBench v1.6 и обновила результаты на других document parsing benchmark.

Поддерживаются:

• текст;
• таблицы;
• формулы;
• диаграммы;
• 109 языков;
• реальные сканы;
• наклон и искажение страницы;
• фото экрана/документа;
• сложное освещение.

CLI

paddleocr paddleocr_vl \
  -i ./document.png \
  --engine paddle

Для production разработчики рекомендуют отдельный inference service, а не считать quick-start CLI эталоном скорости и стабильности.

DeepSeek-OCR2

DeepSeek-OCR2 опубликован в январе 2026 года и позже получил поддержку в Hugging Face Transformers. Это специализированная OCR-VLM, а не обычная general-purpose vision model.

Текущий Transformers API использует стандартные классы:

from transformers import (
    AutoProcessor,
    AutoModelForImageTextToText
)

processor = AutoProcessor.from_pretrained(
    "deepseek-ai/DeepSeek-OCR-2"
)

model = AutoModelForImageTextToText.from_pretrained(
    "deepseek-ai/DeepSeek-OCR-2"
)

У DeepSeek есть и собственный repository с vLLM/Transformers workflow. Для NVIDIA GPU это может быть удобнее, если document OCR уже живёт внутри Python/vLLM infrastructure.

Docling: не одна OCR-модель, а document conversion pipeline

Docling решает более широкую задачу: превращает множество форматов в единое структурированное представление и экспортирует результат в Markdown, JSON, HTML и другие форматы.

Поддерживаются:

• PDF;
• DOCX;
• PPTX;
• XLSX;
• HTML;
• EPUB;
• PNG/TIFF/JPEG;
• email;
• аудио и другие форматы.

Для PDF Docling понимает layout, reading order, таблицы, code blocks, формулы и классификацию изображений.

Установка

pip install docling

PDF в Markdown

docling convert ./document.pdf --to md

Сразу получить chunks

docling convert ./document.pdf \
  --to chunks \
  --chunks-type hybrid

olmOCR: PDF и изображения в чистый Markdown

olmOCR ориентирован на сложные document images и PDF. Проект умеет:

• PDF, PNG и JPEG;
• Markdown output;
• формулы;
• таблицы;
• рукописные элементы;
• multi-column layout;
• удаление headers/footers;
• восстановление естественного reading order.

Текущий проект основан на 7B VLM, поэтому для local inference нужен GPU-класс заметно выше классического OCR.

olmocr ./workspace \
  --markdown \
  --pdfs ./document.pdf

Для большого архива можно передать несколько PDF; Markdown появится внутри workspace.

Почему Markdown стал стандартным выходом для AI

Plain text теряет структуру. Markdown позволяет сохранить:

• заголовки;
• списки;
• таблицы;
• code blocks;
• ссылки;
• часть математической разметки.

Это делает Markdown удобным промежуточным форматом:

Таблицы: главный тест OCR-parser

Текстовая точность сама по себе недостаточна. Если parser правильно прочитал все цифры, но перепутал столбцы, документ для RAG всё равно испорчен.

Проверяйте отдельно:

• merged cells;
• многострочные заголовки;
• длинные таблицы на несколько страниц;
• единицы измерения;
• десятичные разделители;
• пустые ячейки;
• примечания под таблицей.

Формулы и технические документы

Формула — это не обычная строка. Важны индексы, дроби, греческие символы, расположение элементов и специальные знаки.

Для научных PDF выбирайте parser, который явно поддерживает formulas/LaTeX, и сохраняйте исходную страницу рядом с извлечённым результатом для проверки.

Фото документа с телефона

В реальности документы часто приходят не как хороший scan:

• перспективное искажение;
• кривой разворот;
• блики;
• тени;
• изгиб книги;
• размытые края;
• частично закрытый текст.

Именно здесь document VLM может выигрывать у простого OCR pipeline. PaddleOCR-VL 1.5/1.6 отдельно оптимизировался под skew, warping, screen photography и сложное освещение.

Но preprocessing всё равно полезен: crop страницы, deskew, нормализация перспективы и повышение контраста уменьшают объём работы модели.

Как обрабатывать тысячи PDF

Массовый OCR требует другой архитектуры, чем «распознать один документ».

Какое железо нужно

Если выбираете GPU: AMD vs NVIDIA vs Intel для локального AI.

Как правильно использовать OCR перед RAG

OCR — не RAG. Его задача закончиться на качественном структурированном тексте.

Если OCR разрушил таблицу или потерял заголовок, embeddings просто качественно проиндексируют ошибочный текст.

Поэтому для большой базы сначала сделайте небольшой test corpus и оцените parsing quality, а уже затем индексируйте тысячи документов.

Дальше: embeddings и reranker для локального RAG.

Как проверить качество OCR на своих документах

Сделайте golden set из 30–100 типичных страниц.

Для plain OCR можно считать CER/WER. Для structured documents одной CER недостаточно: отдельно нужны метрики/ручная проверка таблиц и layout.

Когда OCR действительно локальный

Локальный режим означает, что:

• model weights находятся на вашем компьютере;
• inference выполняется локально;
• PDF/изображения не отправляются внешнему API;
• не включён cloud fallback;
• результаты хранятся локально;
• telemetry/remote services проверены отдельно.

После установки можно отключить интернет и обработать новый локальный документ. Это простой способ проверить базовую автономность pipeline.

Главные ошибки

1. OCR всех PDF подряд

Если PDF уже содержит нормальный text layer, повторный OCR может только ухудшить данные.

2. Использовать VLM для каждой страницы

Для plain text это часто дорого и медленно.

3. Считать Markdown автоматически правильным

Красиво оформленная таблица тоже может содержать неверные цифры.

4. Не хранить исходную страницу

Без неё трудно проверить спорный результат позже.

5. Индексировать RAG до QA OCR

Ошибки распознавания становятся частью базы знаний.

6. Не разделять скорость detection/recognition и parsing

Полный document parser может быть намного тяжелее обычного OCR.

7. Выбирать одну модель навсегда

Для документов разных классов лучше использовать routing: простой OCR для простых страниц, VLM — для сложных.

Частые вопросы