Около двух лет я делаю Telegram-бота, который проверяет развёрнутые ответы ЕГЭ по обществознанию: примеры, планы, обоснования. Я учитель и эксперт ЕГЭ, и главный вывод проекта звучит неожиданно для тех, кто строит продукты на LLM: модели нельзя поручать ставить балл. В моём боте модель только размечает ответ по JSON-схеме: какие примеры конкретны, какие суждения верны, какие пункты плана ключевые. Балл считает обычный код, а перепроверки могут его только понизить. В задании с планом модель на балл вообще не влияет: там работают лемматизация и сверка с эталонами. В статье расскажу, как устроен путь одного ответа, кто что считает в каждом из девяти заданий, почему одного «негативного сигнала» модели недостаточно, чтобы снять балл, что делать, когда ИИ недоступен, и сколько стоит одна проверка.
Читать далееAI-агенты
Модель размечает, код считает: как устроена ИИ-проверка ЕГЭ по обществознанию
