Локальный ИИ проверяет чтение ребёнка вслух: скорость, ошибки и понимание текста

Что вообще означает «хорошо читает»

Скорость сама по себе — плохая цель. В исследовании автоматизированной оценки чтения вслух отдельно рассматриваются точность, скорость, автоматичность и просодия. Для домашнего ИИ-тренажёра я бы добавил ещё один обязательный слой — понимание прочитанного.

Архитектура локальной проверки чтения

В отличие от обычной диктовки, здесь у нас есть большое преимущество: система заранее знает, какой текст ребёнок должен прочитать. Это позволяет не только распознать речь, но и сопоставить её с эталоном.

Почему нельзя просто отправить запись в Whisper

Whisper и его локальные реализации хорошо подходят для получения текста из аудио. Но расшифровка — это ещё не оценка чтения. ASR оптимизирована на восстановление смысла речи и может сгладить именно те ошибки, которые нам важно увидеть.

Например, ребёнок может повторить слово дважды, проглотить окончание или остановиться на несколько секунд. Транскрипция при этом может выглядеть почти идеально. Более того, в whisper.cpp token-level timestamps существуют, но часть механизмов помечена как experimental, а в issue tracker встречаются реальные проблемы с точностью временных меток.

Пошаговая обработка одного чтения

1. Выбрать эталонный текст. Хранить исходный текст отдельно и не менять его после начала серии измерений.
2. Записать чистое аудио. Один ребёнок, минимальный фоновый шум, одинаковое расстояние до микрофона.
3. Вырезать длинную тишину и определить речь. VAD помогает отделить реальные фрагменты речи от пауз до и после задания.
4. Получить локальную транскрипцию. Например, whisper.cpp или faster-whisper/WhisperX.
5. Нормализовать два текста. Регистр, «ё/е», кавычки, тире, цифры и другие элементы должны обрабатываться одинаково.
6. Сопоставить последовательности слов. Алгоритм sequence alignment определяет совпадения, замены, пропуски и вставки.
7. Привязать слова ко времени. Forced alignment позволяет оценивать паузы и длительность чтения фрагментов.
8. Посчитать метрики. Правильные слова, типы ошибок, время и корректно прочитанные слова в минуту.
9. Проверить понимание. После чтения система задаёт несколько вопросов, ответы сохраняются отдельно.
10. Записать результат в профиль. Для прогресса важнее серия сопоставимых измерений, чем один «рекорд».

Какие ошибки система может находить автоматически

Первые три типа хорошо ложатся на классический edit distance между последовательностями слов. Повторы и самокоррекции требуют более аккуратной логики: нельзя автоматически считать каждое лишнее распознанное слово одинаково тяжёлой ошибкой.

Какие метрики сохранять

WhisperX и forced alignment: зачем нужен второй проход

WhisperX специально добавляет word-level timestamps с помощью отдельной фонемной модели выравнивания. Это полезно, когда нужно знать не только итоговую расшифровку, но и положение отдельных слов во времени.

Для задачи чтения вслух есть ещё один вариант — Montreal Forced Aligner. В отличие от свободного распознавания, forced alignment получает на вход известную транскрипцию и аудио и пытается определить, где во времени находятся слова и фонемы.

Будет ли это работать на русском

Да, но русский язык нельзя считать «автоматически закрытым» только потому, что Whisper умеет русский. Для качественного word-level/phoneme alignment нужен совместимый языковой ресурс. У Montreal Forced Aligner есть отдельная русская acoustic model и Russian G2P/dictionary, предназначенные именно для forced alignment русского текста.

При этом детская речь отличается от взрослой: темп, артикуляция, ошибки и микрофоны будут другими. Поэтому любую выбранную модель нужно проверять именно на реальных детских записях, а не делать вывод по нескольким взрослым голосам.

Проверка понимания текста — задача для LLM

Здесь локальная языковая модель действительно очень полезна. После завершения измерительной части ей можно передать исходный текст и попросить провести короткую беседу.

Вопросы можно генерировать заранее и сохранять вместе с текстом. Для контрольного режима это даже лучше: разные ученики или повторные попытки будут сравниваться по одинаковым критериям.

Можно ли оценивать интонацию и произношение

Частично. Паузы и длительность слов технически измерять можно. Грубые проблемы с темпом тоже видны. Но «выразительность», правильное ударение и качество отдельных звуков гораздо сложнее. Исследования автоматической оценки чтения показывают хорошие перспективы для точности, скорости и автоматичности, тогда как просодия остаётся отдельной и более сложной задачей.

Если нужно именно тренировать произношение, следующая ступень — фонемное сравнение и pronunciation scoring. Это уже не задача обычной LLM и не то же самое, что ASR.

Как должен выглядеть результат для родителя

Цифры выше — пример интерфейса, а не возрастная норма. Именно так лучше проектировать продукт: показывать измеренный результат, ошибки и динамику, но не навешивать автоматический диагноз «читает плохо».

Что хранить в истории прогресса

Через несколько недель уже можно строить полезные закономерности: какие типы слов вызывают трудности, исчезают ли долгие паузы, растёт ли точность без потери понимания.

Почему локальная обработка здесь особенно уместна

Аудиозапись детского голоса — чувствительные данные. Local-first архитектура позволяет оставить записи, транскрипции и историю занятий на домашнем компьютере или сервере.

При этом нужно проверять всю цепочку. Если сама LLM локальная, но аудио отправляется в облачный speech-to-text, система уже не является полностью локальной.

Где автоматическая проверка будет ошибаться

• Шумный микрофон. ASR может принять шум или голос родителя за слова ребёнка.
• Очень тихая или неразборчивая речь. Ошибка распознавания может выглядеть как ошибка чтения.
• Самокоррекция. Нужно отличать ошибку, которую ребёнок сразу исправил, от устойчивой замены.
• Окончания и похожие формы слов. Морфология русского языка требует аккуратной нормализации.
• Имена и редкие слова. Они чаще дают ASR-ошибки и требуют словаря.
• Выразительность. Универсального надёжного «процента интонации» здесь нет.
• Диагностика. Автоматические метрики не заменяют педагога, логопеда или врача.

Как собрать первый рабочий прототип

1. Сделать запись в браузере или приложении. Сохранять WAV/PCM вместе с ID текста и временем чтения.
2. Подключить whisper.cpp. Получить локальную транскрипцию и базовые timestamps.
3. Написать word diff. Python или JavaScript: эталон против ASR, Levenshtein/sequence alignment.
4. Добавить forced alignment. Для русского удобно отдельно протестировать MFA и его russian_mfa ресурсы.
5. Собрать JSON-отчёт. Сырые показатели хранить отдельно от красивого текста LLM.
6. Подключить локальную LLM. Она задаёт вопросы по содержанию, объясняет ошибки и выбирает упражнения.
7. Проверить вручную 30–50 записей. Сравнить автоматический результат с разметкой взрослого и выявить системные ошибки.

{
  "text_id": "reading-012",
  "duration_sec": 74.2,
  "reference_words": 100,
  "correct_words": 94,
  "omissions": 2,
  "substitutions": 3,
  "insertions": 1,
  "repetitions": 4,
  "comprehension": {
    "correct": 4,
    "total": 5
  },
  "difficult_words": [
    "прошуршали",
    "серебристый",
    "вздрогнул"
  ]
}