Опасность, связанная с низким качеством данных, может нанести значительный ущерб бизнесу. Неточные данные могут привести к ухудшению отношений с клиентами, неправильной аналитике и ошибочным решениям, что негативно скажется на эффективности бизнеса.

Источники низкого качества данных могут показаться незначительными, но они могут значительно усугубить ситуацию по мере увеличения количества ошибок и накопления различных типов проблем.

Пропущенные или ошибочно введенные данные в сообщениях электронной почты могут привести к тому, что клиенты почувствуют себя оскорбленными. Накопление ошибок в данных, используемых для исследований, почти всегда приводит к искаженным выводам. Сочетание искаженных выводов и случайного процесса оскорбления клиентов действительно кажется рецептом потери потенциальной прибыли.

Качественные данные не только полезны, но и необходимы для эффективного управления проектами, контроля финансов, оценки производительности и предоставления качественных услуг. И хотя качество данных считается важным вопросом и часто обсуждается на уровне ТОП-менеджмента, оно часто рассматривается как второстепенная задача. Однако, уделяя первостепенное внимание качеству данных, бизнес может извлечь выгоду из более точных прогнозов продаж, более приятного взаимодействия с клиентами и более качественной бизнес-аналитики.

Бизнес-аналитика хороша ровно настолько, насколько ее поддерживают качественные данные.

Причины сбора и хранения данных низкого качества достаточно просты. Как правило, проблемы связаны с преобразованием данных из одного формата в другой, но есть и другие источники.

Основными причинами наличия данных низкого качества являются:

Проблемы с интеграцией данных: ошибки преобразования могут возникать, когда данные собираются из различных баз данных, которые не интегрируются с базой данных организации. Преобразование одного формата данных в другой часто приводит к ошибкам. Например, файлы CSV, как простой пример, обычно разделяются запятыми, и преобразование электронной таблицы в файлы CSV может привести к тому, что данные будут храниться разбитыми на фрагменты.

Неконсистентность при сборе данных: сбор данных заключается в получении информации от отдельных информационных систем, обрабатывающих различные документы, и преобразовании их в массивы данных в хранилище. Это позволяет сотрудникам быстро и эффективно извлекать, искать, систематизировать и хранить документы. Организация, имеющая два или более отдела, использующих одни и те же информационные объекты в разных процессах, должна быть обеспокоена качеством данных из-за возможности появления дублей и неточностей. Например, один отдел может указывать имя клиента как Rocal Ltd., в то время как другой указывает его под именем владельца бизнеса Джо Джонса.

Некачественная миграция данных: это обычно происходит, когда данные перемещаются из устаревшей системы в новую базу данных или в облако. Перенос данных в новую систему сопряжен с некоторыми рисками. Некоторые значения данных могут отсутствовать или быть неправильными. Если изначально данные были некачественными, могут возникнуть новые проблемы, такие как повреждение данных и их отсутствие.

Деградация данных: деградация - это старение данных таким образом, что они становятся непригодными для использования из-за потери их целостности, полноты и точности. Такое ухудшение качества данных проявляется, как правило, в отделах маркетинга и продаж. Например, примерно 40% пользователей электронной почты меняют свои адреса электронной почты каждые два года. Разработала ли ваша организация ответ на эту проблему? Специалисты дата часто классифицируют причину сбоя в базах данных как последствия деградации данных.

Дублирование данных: дублированные данные могут искажать бизнес-аналитику. Если дублированные данные используются в статистических целях, возникновение проблем неизбежно. Представьте себе ситуацию, при которой в одном месте данные корректны, а в другом месте у тех же данных есть недостающие части, могут ли возникнуть проблемы?

Последствия использования данных низкого качества могут быть различными - от незначительных до катастрофических. Это может привести к потере дохода, разочарованию сотрудников и даже серьезным денежным штрафам. Существует несколько потенциальных последствий:

Потеря дохода: Потеря клиентов и потенциальных заказчиков негативно скажется на доходах. Кроме того, недавно Gartner обнаружила, что многие компании ежегодно теряют тысячи долларов в результате "снижения производительности" из-за некачественных данных. Считается, что низкое качество данных обходится организациям в среднем в 15 миллионов долларов в год.

Потеря дохода может быть вызвана как прямо, так и косвенно некачественными данными:

- Неточная личная информация, такая как почтовые адреса, может привести к отправке товаров не в то место;

- Неверная информация о клиентах может привести к потере клиентов;

- Вводящая в заблуждение информация о продукте может вызвать жалобы и подорвать репутацию.

Неточная аналитика: Анализ данных или прогнозная аналитика, основанная на неполных и неточных данных, чревата неправильной интерпретацией и некачественным принятием решений. Дублированные данные, отсутствующие поля и т.д. могут привести к анализу, которому не следует доверять.

Штрафы за вторжение в частную жизнь: Европа, Калифорния, Канада и Бразилия приложили значительные усилия для защиты частной жизни своих граждан. Соединенные Штаты также пытались защитить медицинскую информацию своих граждан. Если персональные данные собираются и используются "незаконно" (все становится незаконным, когда организации и люди игнорируют этику в угоду прибыли), бизнес может ожидать крупный штраф. Другие проблемы, приводящие к штрафам, включают предоставление доступа к персональным данным  преступникам, использование слабой защиты или вообще её отсутствие, неуведомление властей (или клиентов) о нарушениях, затрагивающих данные клиентов, и сбор персональных данных о детях.

Снижение эффективности: Большинству внутренних бизнес-процессов для оптимального функционирования требуются надежные данные. Если бизнес-данные неполны или неточны, то сотрудникам придется потратить время на изучение информации, чтобы исправить ошибку, а затем исправлять ее вручную. Время, затрачиваемое на внесение этих исправлений, снижает эффективность и прибыльность бизнеса. Это может быть особенно вредно для бизнеса, если некоторые из его отделов используют философию разрозненности данных (что затрудняет внесение исправлений).

Упущенные возможности: Без высококачественных данных, на основе которых можно принимать свои решения, ваш бизнес упустит важные возможности. Например, некачественные данные могут означать, что вы упускаете из виду:

- Тенденции рынка

- Информацию о клиентах

- Улучшения продукта

Неточные данные также могут сократить приток потенциальных клиентов, если они отрицательно повлияют на лидо-генерацию.

Репутационный ущерб: Это часто идет рука об руку с потерей дохода и наносит ущерб росту бизнеса. Клиенты быстро потеряют доверие к бизнесу, если посчитают, что он неправильно обращается с их личными данными. Клиенты часто делятся неудачным опытом онлайн, пытаясь предупредить других об опасной ситуации. Проблемы, которые могут насторожить клиентов, - это:

- Неточные или отсутствующие спецификации продукта

- Неверная информация о клиентах

- Несколько маркетинговых электронных писем, случайно отправленных одному и тому же получателю

- Плохое управление данными

Потраченное впустую время, потраченные впустую деньги: Очистка данных после их сохранения занимает гораздо больше времени, чем использование стандартизированных методов сбора и обработки данных. Предприятия могут легко потерять прибыль, если их отделы продаж тратят время на плохие лиды, созданные с использованием некачественных данных. Отделы маркетинга могут запускать дорогостоящие маркетинговые кампании, которые терпят неудачу из-за неправильной демографии.

Разрушение морального духа: Некачественные данные могут подорвать моральный дух отделов продаж и маркетинга. Они могут тратить часы на поиск новых возможностей, основываясь на ошибочных данных. Если сотрудникам отдела продаж (или исследователям) приходится вручную выявлять и исправлять некачественные данные – что отнимает много времени и утомительно, - это может подорвать веру в руководство организации.

Чтобы бизнес работал наилучшим образом, ему необходимы высококачественные данные. Они позволяют принимать обоснованные и разумные решения и повышают эффективность для максимизации прибыли.

Эти три основных метода можно использовать для улучшения качества данных:

1. Внедряйте рабочую культуру, которая поддерживает сбор и хранение высококачественных данных. Культура должна поддерживать интеллектуальные правила обработки данных, разработанные для стандартизации форматов данных и устранения дублирования данных. Низкое качество данных обычно является результатом отсутствия стандартизированных руководств и процедур. Внедрение правил обработки данных помогает обеспечить высокое качество данных. Некоторые полезные рекомендации:

- Разработайте стандартизированный процесс присвоения имен и используйте согласованные форматы для таких параметров, как время, даты и адреса. Это поможет в поиске данных и минимизирует дублирование.

- Изучайте причины возникновения пустых полей индивидуально. Это поможет вам определить важные для полноты данных поля и применить соответствующие правила для их заполнения.

- Установите четко определенные обязанности отдельных лиц за данные (владение данными).

2. Регулярно проверяйте качество бизнес-данных. Проведение аудита данных выявляет проблемы. Непрерывное обслуживание данных в режиме реального времени исключает использование устаревших данных и гарантирует, что отделы маркетинга и продаж работают с полезными данными.

3. Применяйте следующие принципы при работе с данными:

- Точность: основное внимание уделяется тому, насколько данные соответствуют действительности. Чем лучше соответствие действительности, тем точнее данные. (Правильно ли написано имя клиента? Правильный ли почтовый адрес?)

- Полнота: есть ли в форме пробелы вместо необходимой информации?

- Согласованность: различия между копиями одних и тех же данных являются несоответствиями. Следует идентифицировать правильные данные, а ошибочные данные следует устранить.

- Уникальность: данные должны отражать реальный мир и не должны иметь дубликатов. Например, если Rocal Ltd. и ее владелец Джо Джонс используются для выставления счетов, один из них должен быть исключен.

- Своевременность: данные должны быть актуальными с учетом потребностей бизнеса. Должна существовать система, которая помечает данные после того, как они достигли определенного возраста. Кроме того, авторизованные пользователи должны иметь возможность обновлять или изменять данные вручную по мере необходимости.

Следуя этим рекомендациям, вы сможете улучшить качество своих данных и повысить эффективность своего бизнеса.

Перевод статьи Keith D. Foote on March 1, 2023 The Impact of Poor Data Quality (and How to Fix It) (ТОП-20 лучших статей о данных 2023)