Проверяйте данные до построения отчёта: зафиксируйте требования, подтвердите источник и свежесть выгрузки, найдите пропуски, дубли и аномалии, проверьте форматы и диапазоны, затем сверьте показатели между системами. Зафиксируйте результаты и критерии допуска. Такая проверка качества данных помогает обнаружить ошибки до публикации и решить, какие исправления безопасно выполнить, а какие требуют уточнения у владельцев данных.
Контрольные ориентиры перед запуском отчёта
- Определены цель отчёта, период, показатели и владельцы данных.
- Известны источник каждой выгрузки, дата обновления и правила формирования.
- Проверены пропуски, дубли, аномальные значения, типы и форматы полей.
- Сопоставлены ключевые показатели и идентификаторы между источниками.
- Результаты проверок и решение о допуске к отчёту зафиксированы.
Зафиксируйте требования к данным и границы проверки
Предпусковая проверка подходит аналитикам и владельцам отчётов, которые объединяют выгрузки из нескольких таблиц или систем либо используют данные для регулярной отчётности. Она особенно полезна при смене источника, логики расчёта или периода отчёта.
Не начинайте с массовой очистки, если неизвестны смысл полей, правила учёта или допустимые исключения. Не исправляйте первичные данные без согласования с владельцем источника: сначала сохраните исходную копию и выясните причину отклонений.
Перед проверкой запишите, какие показатели и срезы войдут в отчёт, за какой период берутся данные, какие записи считаются действующими и какие правила расчёта применяются. Это задаёт границы, в которых имеет смысл проводить анализ качества данных.
Проверьте источники, происхождение и свежесть выгрузок
Для работы понадобятся доступ к исходным таблицам или выгрузкам, описание полей, информация о времени обновления и согласованные определения показателей. Проверки можно выполнять средствами SQL, электронных таблиц или платформы аналитики; выбирайте способ, который позволяет повторить контроль и сохранить результаты.
Перед анализом проверьте:
- совпадает ли источник с согласованным для отчёта;
- известны ли владелец данных и способ формирования выгрузки;
- охватывает ли выгрузка нужный период и все необходимые подразделения или категории;
- обновлялись ли данные к ожидаемому сроку;
- сохранилась ли исходная версия, чтобы сравнить её с исправленной.
При аудите данных компании фиксируйте не только найденные ошибки, но и происхождение файла, дату получения и применённые преобразования. Так проще отделить дефект источника от ошибки при переносе или подготовке данных.
Найдите пропуски, дубли и аномальные значения
Начните с автоматических тестов: они быстро выявляют типовые дефекты. Спорные случаи проверяйте вручную по исходной записи и правилам предметной области. Не удаляйте строки и не подменяйте значения, пока не установлена причина отклонения.
-
Сохраните неизменённую копию.
Работайте с копией выгрузки и запишите дату проверки. Это позволит восстановить исходное состояние и сравнить результат очистки и проверки данных. -
Посчитайте пропуски в важных полях.
Автоматически проверьте пустые значения в идентификаторах, датах и полях, необходимых для расчётов. Вручную выясните, означает ли пустота отсутствие события, неизвестное значение или ошибку выгрузки. -
Найдите возможные дубли.
Проверьте повторения по идентификатору или согласованной комбинации полей. Не считайте одинаковые значения ошибкой автоматически: повторные события могут быть допустимы, если различаются дата, статус или другой ключевой признак. -
Выявите необычные значения.
Используйте фильтры, сводные таблицы или запросы, чтобы найти неожиданные нули, отрицательные величины, резкие скачки и редкие категории. Сопоставьте подозрительные записи с первоисточником и уточните их смысл у ответственного за данные. -
Зафиксируйте решение по каждому типу дефекта.
Укажите, что исправлено, исключено или оставлено без изменений и почему. Если причина не подтверждена, отметьте запись для разбора, а не вносите предположительную правку.
Сверьте типы, форматы и допустимые диапазоны полей
Используйте этот чек-лист для автоматических проверок; спорные значения сверяйте с владельцем данных:
- Даты распознаны как даты, а не как текст; формат и часовой пояс согласованы.
- Числовые поля загружены как числа, без лишних разделителей и символов валюты.
- Коды и идентификаторы сохранены без нежелательного преобразования, например потери ведущих нулей.
- Категории записаны единообразно: нет случайных вариантов из-за регистра, пробелов или опечаток.
- Значения находятся в допустимых для поля границах согласно правилам бизнеса.
- Процентные величины, суммы и количества представлены в ожидаемых единицах измерения.
- Обязательные поля заполнены согласно правилам, а допустимые исключения описаны.
Автоматический тест выявляет несовпадение с форматом или диапазоном. Ручная проверка нужна, если значение выглядит необычным, но может быть корректным для конкретного случая.
Сопоставьте показатели между таблицами и системами
Сверьте записи и итоги до объединения источников. Типовые причины расхождений:
- показатели имеют одинаковое название, но разные определения или правила расчёта;
- периоды и даты отсечения в системах не совпадают;
- идентификаторы записаны в разных форматах или имеют разную гранулярность;
- соединение таблиц создаёт повторные строки из-за связи "один ко многим";
- одна система включает отменённые или архивные записи, а другая - нет;
- категории и статусы сопоставляются не полностью;
- суммы в разных источниках выражены в разных единицах или валютах;
- выгрузки обновлены в разное время.
Сначала сравните определения показателей и ключи объединения, затем проверьте общую выборку и отдельные расхождения. Если причины различий не установлены, укажите это в отчёте и согласуйте способ обработки до публикации.
Сведите результаты проверок в таблицу и задайте пороги допуска
Выберите глубину контроля по риску отчёта и доступности данных. Для регулярной выгрузки достаточно автоматических проверок известных правил; для нового или существенно изменённого источника добавьте ручной разбор выборки. Порог допуска задавайте с владельцем данных: универсального значения для всех показателей нет.
| Проверка | Способ контроля | Критерий допуска |
|---|---|---|
| Источник и свежесть | Сверить источник, период, дату обновления и владельца | Источник согласован, период полный, актуальность соответствует требованиям отчёта |
| Пропуски | Автоматически посчитать пустые значения в обязательных полях | Пропуски отсутствуют либо объяснены и обработаны по согласованному правилу |
| Дубли | Проверить повторения по ключу или комбинации полей | Повторы подтверждены как допустимые либо устранены по согласованному правилу |
| Типы, форматы и диапазоны | Запустить проверки схемы, форматов и границ значений | Несоответствий нет либо каждое отклонение объяснено и принято владельцем данных |
| Сверка между системами | Сопоставить ключи, правила расчёта и итоги на общей выборке | Расхождения объяснены, а согласованные правила объединения зафиксированы |
Для внедрения контроля можно выбрать один из подходов:
- Ручной контроль в таблице - уместен для разовой проверки небольшой выгрузки; результаты и решения важно записать отдельно.
- Повторяемые запросы или тесты в аналитической среде - подходят для регулярных отчётов, когда правила известны и проверки можно запускать при каждом обновлении.
- Система контроля качества данных - полезна, если источников и проверок много, а результаты нужно централизованно отслеживать. Сначала согласуйте правила и ответственных, затем автоматизируйте их.
Перед запуском отчёта присвойте каждой проверке статус: пройдена, требует уточнения или блокирует публикацию. Исключения, которые не исправлены, опишите вместе с их влиянием на показатели.
Что делать, если проверки качества выявили проблемы
Можно ли строить отчёт, если найдены пропуски?
Можно, если известно, какие значения отсутствуют, как это влияет на расчёты и согласовано ли правило обработки. Если пропуски затрагивают обязательные поля или меняют итоговые показатели, сначала уточните причину.
Нужно ли удалять все дубли?
Нет. Сначала определите ключ записи и выясните, являются ли повторения ошибкой или допустимыми отдельными событиями; удаляйте только подтверждённые дубли по согласованному правилу.
Что делать с аномальным значением, которое может быть корректным?
Сверьте запись с первоисточником и уточните контекст у владельца данных. До подтверждения не заменяйте значение и отметьте случай как требующий ручной проверки.
Как поступить, если показатели систем расходятся?
Сравните определения показателей, периоды, фильтры и правила включения записей. Зафиксируйте причину расхождения и согласуйте, какой источник или метод расчёта используется в отчёте.
Когда исправлять данные в источнике, а когда только в отчёте?
Исправление источника согласуйте с его владельцем и выполняйте по установленному процессу. Временное преобразование для отчёта документируйте так, чтобы его можно было повторить и не принять за исходное значение.
Как понять, что отчёт пока нельзя публиковать?
Приостановите публикацию, если не подтверждены источник, период или правила ключевого показателя либо обнаруженная ошибка может изменить выводы. Решение о допуске зафиксируйте вместе с ответственными и условиями повторной проверки.
