Что добавляет разметка данных
Разметка задаёт, что именно предстоит находить или предсказывать. В изображении это могут быть дефекты, в письме — тема обращения, а в документе — конкретные поля.
Она не всегда выполняется полностью вручную. Автоматические инструменты могут предложить метки, а человек — проверить их, исправить ошибки и разобрать неоднозначные случаи по согласованной инструкции.
Метки, классы и границы объектов
Класс отвечает на вопрос о категории примера, рамка показывает расположение объекта, а контур — его форму. Для разных задач нужны разные виды и степень подробности аннотаций.
Например, отметка «есть повреждение» позволяет учить классификатор, но не сообщает точное место дефекта. Если системе требуется измерять его площадь, такого описания будет недостаточно.
Инструкция и согласованность разметчиков
Инструкция определяет понятия, порядок действий и правила пограничных случаев. Без неё два разметчика могут последовательно принимать разные решения, считая каждое из них очевидно правильным.
Согласованность проверяют на пересекающихся заданиях и спорных примерах. Разногласие может указывать как на ошибку исполнителя, так и на неясную категорию или недостаточную информацию в самом материале.
Ошибки разметки и оценка модели
Неверные метки искажают обучение и проверку. Если тестовый набор содержит ошибочный ответ, корректное решение модели может быть записано как ошибка, а повторение ошибки разметчика — как успех.
Поэтому эталонные ответы нуждаются в контроле. Сохраняют связь аннотации с исходным материалом и фиксируют изменения правил, чтобы сравнение версий модели оставалось содержательным.