ThetaGrader — ИИ-система первичной проверки домашних заданий
ИИ-инструмент для быстрой предварительной проверки домашних работ, понятной обратной связи и структурированных результатов — с сохранением экспертного контроля.
Зачем нужен ThetaGrader?
- Ускоряет массовую проверку домашних работ и сокращает объём рутинной работы.
- Снижает субъективность: критерии применяются единообразно.
- Собирает результаты проверки в единую структурированную таблицу.
- Оставляет финальное решение и правки за проверяющим.
Как работает система
Алгоритм отбирает работы с решением, LLM проверяет их по заданным критериям и при необходимости формирует дополнительные замечания вне критериев.
LLM-слой не привязан к одной модели: для разных задач можно выбирать разные модели и конфигурации.
Ключевые особенности
Работа с содержимым ноутбука
Код, текстовые пояснения, графики и изображения анализируются в рамках одной работы.
Проверка по критериям + дополнительный фидбек
Основная проверка идёт по критериям преподавателя, а найденные вне них ошибки могут быть вынесены в отдельные замечания.
Human in the loop
Степень уверенности и служебные комментарии помогают находить спорные случаи; финальное решение остаётся за проверяющим.
Дополнительные возможности
Автоматическая генерация критериев и анализ использования ИИ для подготовки вопросов к устной сдаче.
МетрикиСравниваем результаты системы с проверкой преподавателей.
Таблицы автоматической и ручной проверки сопоставляются по задачам. Показатели считаются по всем критериям и отдельно по группам с положительным и неположительным весом, затем собираются в сводки по зада ниям.
- Accuracy и взвешенная accuracy
- Micro-F1 и macro-F1, в том числе взвешенные
- α Криппендорфа и взвешенная α