Локальный ИИ · обучение · интерактивная доска
Локальный ИИ-репетитор с интерактивной доской: видит решение ребёнка и рисует подсказки
Следующий шаг после обычного AI-чата — общая доска. Ребёнок пишет пример, строит схему, двигает объекты или объясняет решение голосом, а локальный ИИ видит текущий ход работы и добавляет на то же поле не готовый ответ, а стрелку, формулу, график, короткий вопрос или подсветку места, где появилась ошибка.
Зачем интерактивная доска, если уже есть чат
Чат хорошо работает, когда задача полностью описывается словами. Но школьное обучение постоянно содержит пространственный контекст: ребёнок пишет столбиком, чертит угол, делает преобразование выражения, строит координатную плоскость, подчёркивает орфограмму или рисует схему.
Ребёнку приходится переписывать условие и объяснять, на каком шаге возникла проблема.
Может реагировать на конкретный промежуточный шаг и показывать следующую подсказку рядом с ним.
Взаимодействие начинает напоминать обычное занятие у доски: ученик работает, преподаватель наблюдает и вмешивается только тогда, когда это действительно нужно.
Почему это уже отдельный тренд
Свежие open-source проекты строят AI tutoring именно вокруг связки voice + whiteboard + visual context, а не вокруг одного chat box.
Ученик работает на tldraw-доске, агент читает screenshot и canvas context, а затем пишет формулы, подсказки и проверки обратно на доску.
GitHub →Проект разделяет reasoning, визуализацию формул/графиков и голос.
GitHub →ИИ наблюдает за промежуточными шагами на доске и реагирует не только на финальный ответ.
GitHub →SDK умеет давать агенту screenshot, структурированные shapes, selection и историю действий, а затем применять типизированные команды.
Документация →Это не то же самое, что проверка тетради по фото
| Фото тетради | Интерактивная доска | |
|---|---|---|
| Состояние | Один снимок | Последовательность шагов |
| Контекст | Vision/OCR | Shapes + strokes + text + screenshot + history |
| Реакция | Комментарий после работы | Подсказка во время решения |
| ИИ пишет | Обычно в чате | Прямо рядом с решением |
| Ход решения | Ограниченно | Да, если сохраняются промежуточные шаги |
Статическая фотография полезна для бумажной тетради. Доска нужна для интерактивного занятия, где система должна видеть, как ребёнок пришёл к ответу.
Архитектура локального ИИ-репетитора с доской
ИИ должен получать и картинку, и структуру доски
Один screenshot полезен для пространственного расположения, но в нём теряется точность. Например, текст «x + 3 = 7» превращается в пиксели и должен снова распознаваться Vision-моделью. Если доска знает, что это text shape, лучше отправить модели точный текст напрямую.
Официальный AI-agent pattern tldraw собирает screenshot, упрощённые представления shapes, selection, clusters вне viewport и историю сессии. Для учебного приложения это сильнее слепого анализа изображения.
Работа ученика и работа ИИ должны быть разными слоями
Рукописные strokes, формулы, текст, схемы, графики и перемещённые объекты.
Подсказки, стрелки, рамки, комментарии, следующий шаг и вспомогательный график.
Если ИИ изменяет исходную запись ребёнка, становится трудно понять, что именно ученик сделал сам. Для оценки прогресса это критично. Хороший паттерн — уметь очищать AI annotations, не стирая student work.
Что выбрать: tldraw или Excalidraw
| Критерий | tldraw | Excalidraw |
|---|---|---|
| AI-agent интеграция | Официальный Agent Starter Kit, typed actions, visual context | Agent bridge нужно строить самостоятельно |
| React embedding | Да | Да, npm package |
| Structured canvas API | Очень сильная | Scene elements/API доступны, но меньше готовой AI-инфраструктуры |
| Offline/local | Возможен; есть отдельный tldraw offline desktop | Local-first/open-source сценарий проще |
| Production licensing | Нужен trial/commercial/hobby license | Свободнее для собственной self-hosted системы |
| Практический выбор | Самый быстрый путь к AI-agent canvas | Если приоритет — максимально свободная open-source база |
Как сделать этот сценарий полностью локальным
Свежие демонстрационные проекты часто используют Gemini, Claude, Deepgram или облачный TTS. Но сам паттерн не зависит от облака: провайдеры заменяются локальными компонентами.
Vision + reasoning + tool calls.
Речь ученика локально.
Озвучивание ответов.
Проверка вычислений.
Student DB и history.
Учебники и методички.
Canvas может работать в браузере на планшете или ноутбуке, а модели — на домашнем AI-PC в локальной сети.
Какая модель нужна для доски
Здесь важны мультимодальность и надёжный structured output. Модель должна получить screenshot, текст shapes и вернуть корректный JSON-action.
Математика: доска особенно полезна для промежуточных шагов
Финальный ответ мало говорит о понимании. Доска позволяет увидеть место, где ребёнок впервые сделал неверное преобразование.
Желательно хранить не только текущий canvas, но и последовательность значимых изменений. Тогда checker сравнивает новый математический объект с предыдущим.
Графики, координаты и геометрия
Не всё стоит рисовать свободными strokes. Формулу лучше рендерить как math object, а функцию — как настоящий интерактивный график.
Быстро рендерит TeX в браузере. Полезно для дробей, степеней, систем и аккуратных формул.
KaTeX →React-компоненты для интерактивных математических визуализаций и графиков.
Mafs →Вычисляет корни, преобразования и значения функции независимо от ответа LLM.
SymPy →Например, ИИ может не «рисовать параболу на глаз», а вернуть действие plot_function с формулой y=x²-4, после чего frontend строит точный график через Mafs.
Рукописный ввод: что реально можно понимать
Freehand strokes не равны распознанному тексту. Если ребёнок пишет стилусом, у системы есть три уровня информации.
Голос + доска: естественнее обычного чата
Я не понимаю, что делать дальше вот здесь.
Selection: второй шаг уравнения. Canvas содержит перенос +6 без смены знака.
Посмотри на выделенную шестёрку. Если перенести её через знак равенства, какой знак должен стать у числа?
Ключевой контекст — selection. Если ребёнок выделил объект или обвёл область, не нужно анализировать всю доску одинаково: выделенная область становится главным visual context.
Socratic mode: ИИ не должен дорисовывать всё решение
Самая опасная кнопка в AI-whiteboard — «решить». Она превращает учебную среду в красивое решебник-приложение.
ИИ ничего не добавляет.
Рамка или стрелка без текста ответа.
«Что должно измениться здесь?»
Без применения к текущим числам.
Только если предыдущие уровни не помогли.
Свежий Socratic Tutor строится вокруг идеи «задавать вопросы вместо выдачи готовых домашних работ» и работает локально через Ollama. Политика помощи должна быть отдельным компонентом, а не случайной формулировкой prompt.
ИИ должен возвращать typed actions, а не произвольный рисунок
Вместо ответа «нарисуй стрелку от второго шага к третьему» модель должна вернуть структурированный объект, который frontend валидирует.
{
"action": "add_hint",
"target_shape_id": "shape:step-2",
"anchor": "right",
"severity": "hint",
"text": "Что произойдёт со знаком +6 при переносе?",
"student_work_must_remain_unchanged": true
}Другие безопасные действия: draw_arrow, add_formula, highlight_region, plot_function, add_question_card, mark_correct, mark_check_required.
Как проверять промежуточный шаг
Эквивалентность выражений, решение уравнения, численный результат.
Орфография/пунктуация и связь с изучаемой орфограммой.
Формула, ключевые точки, область определения.
Структурные условия задачи и визуальная проверка.
ИИ может объяснять результат checker, но не должен придумывать сам факт правильности там, где его можно вычислить программно.
Доска полезна не только для математики
Для каждого предмета лучше ограничить набор AI-actions. Например, в геометрии разрешить линии, точки, подписи и окружности; в русском — underline, highlight и text cards.
Планшет со стилусом или обычный ПК
Писать рукой естественнее, чем мышью. AI-server при этом может стоять в другой комнате.
Хорошо для алгебры, текста, схем и старших классов. Рукописная математика менее удобна.
Canvas работает в браузере, вычисления и модели — на локальном сервере по Wi-Fi/LAN.
Для домашней системы это удобно: дорогая GPU нужна одна, а ребёнок может заниматься с лёгкого планшета или старого ноутбука.
Нужно ли ИИ анализировать каждый stroke в реальном времени
Нет. Это создаёт лишнюю нагрузку и мешает ребёнку писать. Лучше использовать событийную модель.
На первом этапе я бы сделал кнопку «Проверь мой шаг», а уже потом — автоматическое ненавязчивое наблюдение.
Что сохранять в Student DB
Полный bitmap доски не обязательно хранить постоянно. Для прогресса полезнее структурированное событие «ошибка переноса знака → hint 2 → исправил самостоятельно».
Приватность и локальная доска
Практический стек для домашней версии
Интерактивная доска.
Toolbar, layers, lesson UI.
Canvas screenshot + reasoning.
По размеру модели и железу.
STT и TTS.
Формулы.
Интерактивные функции.
Математическая проверка.
Учебники и правила.
Student DB и board events.
Как собрать MVP без лишней сложности
- Поднять canvas.React + tldraw или Excalidraw, локальное сохранение одной доски.
- Добавить кнопку «Проверить шаг».Пока без постоянного background vision.
- Передавать selection + screenshot.Не весь canvas, если вопрос относится к одному фрагменту.
- Подключить одну локальную VLM.Она должна вернуть JSON, а не свободное описание рисунка.
- Разрешить только 4–5 действий.add_hint, draw_arrow, add_formula, highlight_region, mark_correct.
- Добавить math checker.Начать с уравнений/арифметики, где можно получить точный эталон.
- Разделить Student и AI layers.ИИ не редактирует исходную работу.
- Добавить голос.Только когда visual loop уже надёжен.
- Добавить Student DB.Сохранять тип ошибки и hint level.
- После этого — автоподсказки.Событийная модель вместо анализа каждого stroke.
Типичные ошибки
Частые вопросы
Можно ли сделать такую доску полностью без Интернета?
Да. Canvas работает в браузере или локальном приложении, VLM/STT/TTS/RAG запускаются на домашнем сервере. Интернет нужен только для первоначальной загрузки моделей и обновлений, если не подготовить их заранее.
Обязательно ли использовать tldraw?
Нет. tldraw удобен благодаря готовой AI-agent архитектуре, но production SDK лицензируется. Excalidraw — хорошая альтернатива для собственной open-source/local-first реализации.
ИИ реально может видеть, что ребёнок написал стилусом?
Может анализировать strokes как изображение через VLM, но распознавание детского почерка не гарантированно. Спорные символы нужно подтверждать, особенно перед оценкой ответа.
Нужно ли постоянно снимать screenshot доски?
Нет. Лучше анализировать по событию: после паузы, нажатия «Проверить шаг», голосового вопроса или завершения значимого объекта.
Можно ли строить графики функций прямо на доске?
Да. Лучше вернуть structured action с формулой, после чего frontend строит точный интерактивный график через библиотеку вроде Mafs.
Как не дать ИИ решить всё за ребёнка?
Использовать отдельную tutoring policy с уровнями помощи. Сначала выделить проблемное место и задать вопрос, затем напомнить правило; готовый шаг показывать только после собственных попыток.
Подойдёт ли планшет?
Да, и для младших детей часто это лучший клиент. Тяжёлый AI-server может работать на отдельном ПК, а планшет открывает доску в браузере по локальной сети.
Нужно ли хранить всю историю доски?
Для отладки можно хранить session replay ограниченное время. Для долгосрочного прогресса полезнее структурированные события: навык, ошибка, подсказка, самостоятельное исправление и последующая проверка.
Источники и проекты
Следующий шаг