Решения Сколково · Термин

Качество данных

Качество данных — степень их пригодности для конкретного использования. Его оценивают через свойства, важные для задачи: точность, полноту, актуальность, согласованность и другие характеристики, которые влияют на получаемый результат.

Качество данных относительно задачи

Один набор может подходить для анализа общих тенденций и быть непригодным для расчётов с отдельными клиентами. Поэтому оценка начинается с вопроса о решении, которое будут принимать по этим данным.

Например, месячная сводка продаж может быть достаточной для планирования ассортимента. Для поиска ошибки в конкретной операции потребуются более подробные записи и возможность восстановить её обстоятельства.

Полнота, точность и актуальность

Полнота показывает наличие нужных сведений, точность — соответствие действительности, актуальность — пригодность с учётом времени. Эти свойства не заменяют друг друга и могут конфликтовать при сборе данных.

Заполненное поле не обязательно содержит верное значение. Старый адрес может иметь правильный формат и проходить техническую проверку, оставаясь бесполезным для доставки текущему клиенту.

Качество разметки и качество всего набора

Качество разметки касается добавленных ответов и аннотаций. Но даже безошибочные метки не устраняют дубли, пропуски нужных групп или несоответствие набора будущим условиям применения.

Поэтому проверяют и исходные записи, и способ их отбора. Для модели важно, чтобы примеры отражали рабочую задачу, а не только были аккуратно подготовлены внутри небольшой удобной выборки.

Проверки, владелец и допустимые ограничения

Проверки связывают с ответственными и действиями при отклонении. Для критичного поля можно установить сверку с источником, а допустимое ограничение — явно учесть в использовании результата.

Универсального балла, доказывающего пригодность для всех задач, нет. Отдельно проверяют законность доступа и использования: технически качественные данные не становятся автоматически разрешёнными для передачи или обучения модели.