Data Governance - Автоматизация процессов управления данными

Существует огромное количество инструментов, которые предназначены для автоматизации процессов или даже отдельных функций Data Management. Но когда мы говорим про внедрение в организации и автоматизацию процессов Data Governance, то речь идет прежде всего о комплексном подходе к управлению жизненным циклом данных в компании и комплексных решениях типа Data Catalog, а точнее о платформах управления данными. Такие решения состоят из нескольких модулей, каждый из которых реализует отдельную функцию в цикле управления данными.

Наиболее прогрессивные компании сегодня имеют целые эко-системы по управлению данными. Такие эко-системы могут включать в себя несколько приложений или программных продуктов, которые дирижируются Data Governance процессом, выстроенным внутри организации.

Наличие сегодня в компании инструментов управления данными является не приятным дополнением, а обязательным пунктом программы Data Governance. Без комплекса автоматизированных инструментов управления данными, без целой эко-системы, слаженно работающей на общую цель - получение достоверных, надежных данных для принятия лучших решений, - современные организации не могут эффективно управлять своими данными. Ответственное управление данными с соблюдением всех регуляторных норм и правил, с поддержанием надлежащего уровня безопасности для отдельных категорий данных, с сохранением доверия к данным и обеспечением качества на всём их жизненном пути сегодня немыслимо без внедрения data-driven и data intelligence подходов, которые в свою очередь требуют наличия современных программ и инструментов Data Governance.

Как уже было сказано выше, существует огромное количество программного обеспечения, которое позволяет автоматизировать процессы управления данными. Как разобраться, что нужно именно вам? Конечно, для принятия взвешенного решения необходимо изучить свои бизнес-потребности, сформировать функциональные требования к инструментам и протестировать разные программы на соответствие выявленным бизнес-требованиям. Но существует так называемый "базовый набор" инструментов, которые автоматизируют функции, составляющие скелет любой эко-системы управления данными.

Итак, что это за "базовый набор" и из чего он состоит? Это несколько тесно связанных между собой модулей, каждый из которых отвечает за свой пул задач цикла управления данными, но вместе они покрывают всю цепочку доставки ценности. Напомню, что речь идет об автоматизации процессов Data Governance, которые контролируют и сопровождают жизненный цикл данных, а не о специализированных системах обработки, хранения, извлечения или анализа данных - об этих ИТ-системах отдельный разговор. Итак, основные модули нашего Data Catalog или эко-системы Data Governance:

- Бизнес-глоссарий (Business Glossary)

- Архитектурный репозиторий данных или Словарь данных (Data Dictionary)

- Хранилище метаданных (MetaData management)

- Управление происхождением данных (Data lineage)

- Проектирование потоков данных (ETL или consistent transformation tool)

- Управление качеством данных (Data Quality)

Максимальный эффект и выгода для бизнеса получается только от совместного использования всех этих модулей. Полезная синергия всех этих программ в конечном счете представляет из себя базу знаний организации, пользоваться которой могут все сотрудники. При этом могут решаться различные задачи, начиная от понимания в целом, какие бизнес-домены какими данными владеют, в каких информационных системах эти данные обрабатываются, и заканчивая проектированием новых продуктов, интеграционных потоков и витрин данных для анализа. Эта база знаний предоставляет пользователям информацию о данных с различных ракурсов: бизнес-термины и определения, форматы хранения, бизнес-критичность и чувствительность данных, владельцы данных и алгоритмов, место в корпоративной модели данных, названия схем и таблиц в информационных системах и прочее.

Каждый модуль - функция каталога данных - отвечает за свой набор свойств и характеристик объектов данных. Собирая их вместе в одной базе знаний, мы получаем единый согласованный взгляд на наши данные, можем легко ими управлять и в любой момент времени убедиться в надежности данных и в том, что они заслуживают доверия. При этом ВАЖНО обеспечить совместный и простой доступ к этой базе знаний всем бизнес-пользователям.

There are some Data Catalog tools and software