Для чего нужна обучающая выборка
Примерами могут быть изображения деталей, записи операций или фрагменты текста. Их отбирают в соответствии с задачей и теми условиями, в которых предполагается применять модель.
Большой объём сам по себе не обеспечивает пригодность. Если в наборе нет редких, но существенных ситуаций, модель может хорошо решать привычные примеры и ошибаться именно в важных исключениях.
Примеры, признаки и целевые ответы
В обучении с учителем примеры связаны с целевыми ответами: например, изображение детали — с указанием дефекта. Признаки представляют сведения, по которым модель должна получить этот ответ.
Другие способы обучения устроены иначе и не требуют ручной метки для каждого примера. Поэтому обучающую выборку нельзя определять исключительно как таблицу с заранее проставленными человеком правильными ответами.
Обучение, валидация и тест
Обучающие данные используют для настройки параметров. Валидационные помогают выбирать настройки и варианты модели, а тестовые предназначены для итоговой проверки по принятой методике.
Постоянный подбор решения по одному и тому же тесту снижает независимость оценки. Даже без прямого обучения на тестовых примерах команда может постепенно подстроить под них свой выбор.
Утечка данных и представительность выборки
Утечка возникает, если при обучении или оценке становятся доступны сведения, которых не будет в рабочем сценарии. Например, почти одинаковые записи одного события попадают одновременно в обучение и тест.
Разделение строят с учётом времени, общих объектов и других зависимостей. Представительность и отсутствие утечки проверяют содержательно: случайное деление строк не всегда обеспечивает честную оценку.