Какую задачу оценивают у модели
Сначала определяют, какой результат нужен пользователю. Для поиска дефектов важны пропуски и ложные тревоги, для извлечения данных — правильность конкретных полей и сохранение существенного смысла.
Метрика должна соответствовать задаче. Общая доля правильных ответов может выглядеть высокой, если нужное событие редко встречается, даже когда модель почти никогда его не обнаруживает.
Данные проверки и исходный вариант
Проверочные данные отделяют от обучения и подбора решения по принятой методике. Учитывают время, повторяющиеся объекты и другие связи, способные сделать тест искусственно простым.
Результат сравнивают с исходным вариантом: действующим правилом, предыдущей моделью или работой процесса. Без этого трудно понять, оправдана ли сложность нового инструмента и что именно улучшилось.
Метрики и разные виды ошибок
Разные ошибки оценивают отдельно. Например, пропущенное опасное состояние оборудования и лишний сигнал на исправном устройстве имеют разную цену и требуют разных действий сотрудников.
Средние показатели дополняют разбором групп и условий. Модель может успешно работать с типовыми документами, но заметно хуже — со сканами другого качества или редкими формулировками.
Качество модели и готовность рабочего процесса
Хороший тест модели не подтверждает готовность всей системы. Доступы, скорость, передача результата и контроль человеком могут создавать проблемы, которых нет в отдельной проверке алгоритма.
После запуска оценивают работу в реальном процессе и изменения входных данных. Вывод о качестве всегда относится к обозначенным условиям: его нельзя без проверки распространять на новые задачи и сценарии.