Как загрузить школьные учебники в локального ИИ-репетитора: RAG, PDF и цитаты

RAG простыми словами

RAG — Retrieval-Augmented Generation, то есть генерация ответа с предварительным поиском информации. Вместо того чтобы спрашивать LLM «что ты знаешь по теме», система сначала ищет нужный материал в собственной базе документов.

В Open WebUI этот механизм встроен в Knowledge Bases: документы становятся поисковой базой, которую можно прикрепить к чату или конкретному профилю модели.

RAG — это не обучение модели на учебнике

Если завтра ребёнок перейдёт на другой учебник, RAG-базу можно заменить за несколько минут. Fine-tuning ради этого был бы дороже, сложнее и хуже контролировался бы.

Как устроен RAG-pipeline

Какие материалы лучше загружать

Не стоит сваливать все документы всех классов и предметов в одну гигантскую коллекцию. Предметная база работает предсказуемее, если её scope понятен.

knowledge/
├── 2-class/
│   ├── matematika/
│   │   ├── textbook.pdf
│   │   ├── rules.md
│   │   └── exercises.md
│   └── russkiy/
│       ├── textbook.pdf
│       └── dictionary.md
└── 8-class/
    ├── fizika/
    └── algebra/

PDF — самое слабое место, если его неправильно извлечь

PDF может визуально выглядеть идеально, но внутри содержать текст в неправильном порядке, отдельные символы вместо слов или вообще только сканы страниц. Перед индексированием важно проверить, что реально извлеклось.

Chunking: как резать учебник на фрагменты

Если отправить весь учебник в embedding как один документ, поиск будет слишком грубым. Если порезать его на отдельные предложения, потеряется смысл. Поэтому chunk должен быть достаточно коротким для точного поиска и достаточно длинным, чтобы сохранять контекст.

Open WebUI поддерживает разбиение по символам или токенам и умеет сначала учитывать Markdown headings, а затем дополнительно делить большие секции. Это особенно удобно, если учебник предварительно конвертирован в чистый Markdown с заголовками.

Embedding-модель: что использовать для русского

Embedding-модель не пишет ответ. Она превращает вопрос и chunks документов в векторы, чтобы можно было найти фрагменты, близкие по смыслу.

Open WebUI позволяет использовать локальный SentenceTransformers backend, Ollama embeddings или OpenAI-compatible embeddings. Для русскоязычной базы лучше выбирать действительно multilingual-модель.

Qwen3-Embedding официально поддерживает русский и более 100 языков, а линейка содержит отдельные embedding и reranking модели. Это делает её удобным современным кандидатом для русскоязычных учебных баз. citeturn276160search0turn276160search1

Почему обычного vector search иногда мало

У школьных материалов много точных терминов: фамилии, даты, номера формул, обозначения, параграфы. Семантический поиск полезен для смысла, но keyword search иногда точнее.

Поэтому в Open WebUI можно включить hybrid search: vector retrieval объединяется с BM25, после чего кандидаты дополнительно проходят reranking. Такая схема особенно полезна для вопросов вроде «что сказано в параграфе 17 про фотосинтез?».

Как это делается в Open WebUI Knowledge

1. Открыть Workspace → Knowledge.Создать базу, например «Математика 2 класс».
2. Загрузить учебник и дополнительные материалы.Open WebUI извлечёт текст и построит embeddings.
3. Прикрепить Knowledge Base к модели.Например, к профилю «Учитель математики».
4. Проверить retrieval вручную.Задать вопросы по разным главам и открыть цитируемые фрагменты.
5. Настроить chunking и search при необходимости.Не менять параметры только ради «оптимизации» без тестового набора вопросов.

Когда RAG не нужен: Full Context

Если документ короткий — например, памятка на 2–4 страницы, список правил или план урока — retrieval может быть лишним. Open WebUI умеет передать весь файл в контекст модели.

Для 300-страничного учебника Full Context обычно бессмысленен: даже если модель формально поддерживает большое окно, это медленнее и менее эффективно, чем качественный retrieval.

Цитаты — обязательная часть учебного режима

Open WebUI умеет показывать citations для RAG-контекста. Для ребёнка и родителя это особенно полезно: можно открыть фрагмент и проверить, действительно ли ответ опирается на учебник.

Как сделать режим «отвечай только по учебнику»

Одним prompt нельзя гарантировать абсолютную строгость, потому что LLM всё равно имеет собственные знания. Но поведение можно сделать заметно более контролируемым.

Отвечай на фактические вопросы по предмету только на основе
контекста, полученного из подключённой базы знаний.

Если в retrieved context нет ответа:
1. прямо скажи, что информация в учебнике не найдена;
2. не придумывай факт из памяти модели;
3. предложи уточнить вопрос или выбрать другой учебник.

Всегда отделяй:
- факт из источника;
- своё объяснение или аналогию.

Что делать с рисунками, картами, схемами и формулами

Обычный текстовый RAG индексирует то, что удалось извлечь в текст. Поэтому подпись к рисунку он найдёт, а саму схему электрической цепи или географическую карту может не понять.

Для первого школьного прототипа разумно начать с текстовых предметов и простых PDF. Затем отдельно добавлять vision для страниц, где без изображения теряется смысл.

Одна база или отдельная база на каждый предмет

Это даёт чистый scope и снижает шанс, что на вопрос по русскому языку retrieval случайно подмешает фрагмент из методички по истории.

Что происходит при обновлении материалов

Если вы заменили учебник или изменили chunking, старые chunks не обязаны исчезнуть автоматически. В Open WebUI при изменении chunk size старые документы сохраняют прежнюю нарезку до re-index. Для единообразия лучше переиндексировать коллекцию.

При смене embedding-модели re-index уже не просто желателен, а необходим: vectors разных моделей несовместимы. Это прямо отмечено в документации Open WebUI. citeturn978648search0

Как собрать первый рабочий вариант

1. Выбрать один учебник.Например, математика одного класса.
2. Проверить извлечение текста.Случайно открыть 10–15 страниц после parsing.
3. Создать одну Knowledge Base.Без смешивания разных предметов.
4. Начать с базовых настроек Open WebUI.Не оптимизировать chunking до первого теста.
5. Составить 30 реальных вопросов.Определения, «почему», «сравни», номера параграфов и вопросы ученика.
6. Проверять сначала retrieval.Нашёл ли система правильный fragment — до оценки ответа LLM.
7. Включить hybrid search/reranking при необходимости.Если точные термины или даты ищутся плохо.
8. Добавить strict-mode prompt.Нет источника → честно сказать, что ответ не найден.

Типичные ошибки