Проверить качество данных до попадания в отчёт - значит убедиться, что записи полны, корректно оформлены, не задублированы, связаны с нужными источниками и обновлены по расписанию. Сначала определите ошибки, способные изменить выводы, затем выполните проверки на копии или в безопасном режиме и зафиксируйте критерии, при которых публикацию нужно остановить.
Контрольные точки перед выпуском отчёта
- Определите критичные поля и ошибки, которые меняют итоговые показатели.
- Проверьте обязательные значения, форматы и допустимые диапазоны.
- Сверьте источники, уникальность ключей и связи между таблицами.
- Найдите дубли, аномалии и устаревшие данные до расчёта метрик.
- Заранее задайте пороги, ответственных и действия при сбое.
Сначала определите, какие ошибки исказят выводы
Этот порядок подходит аналитикам и владельцам отчётов, которые регулярно получают данные из баз, файлов или внешних систем. Он особенно полезен перед обновлением отчёта, сменой источника или изменением логики расчёта.
Не запускайте проверки непосредственно на продуктивных данных, если они могут изменять записи или создавать нагрузку. Для первичной диагностики используйте чтение, тестовую копию или запросы с ограниченным объёмом. Не блокируйте выпуск из-за отклонений, которые не влияют на показатели и заранее признаны допустимыми.
Составьте короткий список рисков: пропуск обязательных записей, повторный учёт сущностей, неверное сопоставление таблиц, сдвиг дат и изменение единиц измерения. Проверка качества данных должна быть связана с конкретным последствием для отчёта, а не только с формальным несоответствием.
Проверьте полноту, формат и допустимые значения
До начала работы уточните правила для каждого важного поля: обязательно ли оно, какой формат ожидается, какие значения допустимы и кто отвечает за источник. Для дат проверьте часовой пояс и границы периода, для сумм - валюту и единицы измерения, для категорий - актуальный перечень значений.
- Доступ на чтение к исходным таблицам или выгрузкам.
- Описание полей, ключей и связей либо подтверждение этих правил у владельца данных.
- Тестовая среда или безопасная копия, если проверка может затронуть данные.
- SQL, электронная таблица или инструменты проверки качества данных, доступные в вашей рабочей среде.
- Правила обработки пропусков, дублей и допустимых отклонений.
Начните с простых проверок: число записей, доля незаполненных обязательных полей, соответствие типов и перечней значений. Не исправляйте исходные записи автоматически, пока не выяснены причина ошибки и владелец данных.
Сверьте источники, ключи и связи между таблицами
Перед выполнением шагов учтите ограничения: одинаковые названия полей не гарантируют одинаковый смысл; обновление источника может идти с задержкой; повторные записи иногда являются допустимой историей изменений; запросы без ограничений могут замедлить систему. Фиксируйте обнаруженные отклонения, не удаляя записи без согласования.
-
Зафиксируйте источник и период.
Запишите, из какой таблицы или выгрузки берутся данные и за какой интервал они должны попасть в отчёт. Уточните, включаются ли граничные даты и учитывается ли часовой пояс. -
Проверьте ключи на уникальность.
Для каждой таблицы определите поле или набор полей, которые идентифицируют запись. Проверьте, что ключ не пуст и не повторяется там, где ожидается одна запись на сущность. -
Сопоставьте связи между таблицами.
Сверьте ключи соединения и оцените, сколько записей теряется или размножается при объединении. Отдельно проверьте строки без соответствия и случаи, когда одной записи соответствует несколько строк. -
Сравните итоги до и после объединения.
Сопоставьте число записей и контрольные суммы по ключевым метрикам до и после соединения таблиц. Если результат неожиданно меняется, остановитесь и выясните причину до расчёта отчётных показателей. -
Подтвердите правила у владельца источника.
Уточните, являются ли повторения и отсутствующие связи ошибкой или особенностью процесса. Зафиксируйте принятое решение, чтобы следующий аудит качества данных опирался на те же правила.
Найдите дубли и аномалии до расчёта метрик
Проведите проверку результата на согласованной выборке, а для критичных отчётов - на всём доступном периоде, если это безопасно для системы.
- Проверьте повторяющиеся ключи и записи с одинаковыми значимыми полями.
- Найдите пустые значения в полях, необходимых для фильтрации и расчётов.
- Сравните числовые значения с бизнес-правилами и допустимыми диапазонами.
- Проверьте даты на невозможные значения и выход за отчётный период.
- Сопоставьте распределения категорий с ожидаемым набором значений.
- Проверьте нулевые и отрицательные значения там, где они могут указывать на ошибку.
- Сравните агрегаты с предыдущим периодом и выясните заметные необъяснённые изменения.
Аномалия - сигнал для проверки, а не автоматическое доказательство ошибки. Не удаляйте необычные значения только потому, что они отличаются от большинства: сначала подтвердите правило и возможное влияние на выводы.
Сопоставьте свежесть данных с графиком обновления
Контроль качества данных должен учитывать не только содержание записей, но и своевременность обновления. Сверьте фактическое время последней загрузки с графиком источника и временем, к которому отчёт должен быть готов.
- Считайте время обновления по той же временной зоне, что и расписание загрузки.
- Не принимайте неполную загрузку за завершённую: проверьте статус процесса или признак окончания выгрузки.
- Учитывайте задержки между созданием записи и её появлением в витрине данных.
- Проверьте, не попали ли в отчёт данные за период, который ещё не закрыт источником.
- Не сравнивайте периоды разной длительности без явной корректировки или пояснения.
- При отсутствии ожидаемого обновления выясните причину до публикации, а не подменяйте пропуск нулевыми значениями.
Если задержка допустима и не меняет смысл отчёта, отметьте её и согласуйте решение с владельцем. Если свежесть влияет на выводы, публикацию следует приостановить либо явно обозначить неполный период.
Сведите проверки в таблицу с порогами и действиями
Запишите проверку, критерий прохождения и действие при нарушении. Порог задавайте исходя из требований к отчёту: универсальное допустимое число пропусков или дублей без контекста может привести к неверному решению.
| Проверка | Критерий | Действие при сбое |
|---|---|---|
| Полнота обязательных полей | Нет пропусков в полях, необходимых для расчёта | Остановить выпуск, проверить источник и согласовать исправление |
| Уникальность ключа | Повторы отсутствуют либо объяснены правилами хранения истории | Проверить логику отбора записей и исключить двойной учёт |
| Связи таблиц | Потери и размножение строк соответствуют ожидаемому правилу соединения | Пересмотреть ключи и условия объединения до расчёта метрик |
| Допустимые значения | Значения соответствуют согласованным форматам и перечням | Уточнить смысл отклонений у владельца данных; не исправлять автоматически |
| Свежесть загрузки | Источник обновлён в пределах согласованного графика | Выяснить статус загрузки и приостановить выпуск, если задержка влияет на выводы |
Выберите подход к выполнению проверок по масштабу и повторяемости процесса:
- Ручная выборочная проверка подходит для разового отчёта и небольшого объёма, когда правила можно подтвердить просмотром данных.
- Запросы в SQL уместны, если данные хранятся в базе и проверки нужно повторять перед каждым обновлением.
- Автоматизированные проверки полезны для регулярного конвейера: их можно встроить в процесс загрузки и настроить реакцию на критичные сбои.
- Система контроля качества данных оправдана, когда много источников, правил и ответственных; до внедрения всё равно нужно определить критерии и порядок разбора ошибок.
Разделите проверки на блокирующие и предупреждающие. К блокирующим относите нарушения, способные изменить существенные выводы; допустимые отклонения фиксируйте с пояснением и ответственным за согласование.
Что делать, если сбой качества обнаружен перед публикацией
Когда следует остановить выпуск отчёта?
Остановите публикацию, если сбой меняет ключевые показатели, приводит к двойному учёту или делает период неполным. Зафиксируйте затронутые поля и обратитесь к владельцу источника.
Можно ли исправить данные вручную?
Не меняйте исходные записи без согласованного процесса. Если допустимо исправление в преобразовании отчёта, зафиксируйте правило, причину и проверку результата.
Что делать с допустимыми отклонениями?
Сопоставьте отклонение с заранее установленным критерием и оцените влияние на выводы. Укажите его в рабочей записи или пояснении к отчёту, если это важно для интерпретации.
Как проверить, что устранение ошибки помогло?
Повторите ту же проверку на том же периоде и сравните результат с критерием прохождения. Затем пересчитайте затронутые метрики и проверьте, что исправление не создало новых расхождений.
Что делать, если источник недоступен?
Не подменяйте отсутствующие данные нулями и не выдавайте неполный период за полный. Уточните ожидаемый срок восстановления и согласуйте перенос публикации или явную маркировку ограничений.
Как подготовить проверки к следующему обновлению?
Сохраните критерии, запросы или сценарии проверок, владельцев источников и действия при сбое. Для повторяющегося отчёта автоматизируйте проверки, которые имеют ясные правила и стабильный ожидаемый результат.
Автор: Екатерина Смирнова


