DG4All

Если кратко, у нас есть процесс ведения бизнес-глоссария, в котором заполняется ряд полей, необходимых для дальнейшей идентификации данных на ИТ-пространстве и применения этой инфо в других процессах управления данными. И одним из таких полей является поле "Уникальное имя объекта в КМД" (концептуальная модель данных).

Для решения поставленной задачи, располагаем:

- Бизнес-глоссарий, а в нём: краткое имя термина на русском/английском языке и Описание термина на русском языке.

- Концептуальная модель, которая является классификатором всех данных в компании.

- Архитектор данных, который глазками смотрит на всё это безобразие и присваивает "Уникальное имя объекта КМД" - некий мнемокод.

Автоматизация любого процесса предполагает наличие алгоритма - правил, которые расскажут машине (ИИ) как нужно присваивать мнемокод новым объектам данным. Привожу тут общие правила присвоения мнемокода, чтобы дальше было понятнее как сейчас работаем:

Выложены рабочие материалы к статьям:

- Книга о том, как правильно повышать качество данных: пошаговая инструкция;

- Роли в Data Management: список функций и результатов в разрезе направлений Data Management c указанием роли, которая выполняет эти функции.

- Дополнительный контент к статье: Роль аудита в оценке уровня зрелости -  сводная таблица с вопросами аудита по 6-ти направлениям;

- Владельцы данными - материал к статье в виде презентации о том что такое владение и откуда оно берётся;

- Материал к статье: Инструмент моделирования данных - функциональные требования к инструменту;

- Моделирование данных: варианты организационных структур для процесса, отдела моделирования и требования к должности;

- Статья: Развитие и обучение аналитиков и материал к ней - карьерная лестница для аналитика;

- Статья и Материал к статье: Ценность корпоративной модели данных;

- Статья Метрики эффективности качества данных - для неё даны примеры метрик по управлению эффективностью программы качества данных с вариантами расчета, Материал к статье по ссылке;

Максимизация ценности данных часто сводится к тому, чтобы обеспечить их нахождение в нужном месте в нужное время и в нужной форме. Чтобы решить эту простую на первый взгляд формулу, вам потребуется стратегия повышения качества данных.

Во-первых, руководство должно оценить зрелость компании на организационном уровне, чтобы понять, где, скорее всего, потребуется внедрение новых правил. Организация, которая работает более века по принципу "так исторически сложилось", будет кардинально отличаться от стартапа с высокой ротацией кадров.   

Во-вторых, необходимо выявить бизнес-критичные области, которые наиболее страдают от  низкого качества. Такими могут быть, например, процессы, связанные с обслуживанием клиентов, или регулярная отчетность компании.

В любом случае, высшее руководство должно осознавать важность данных для миссии организации. Другими словами, разработанная на основании стратегии Data Quality программа повышения качества, должна получить поддержку высшего руководства.

И вот на этом месте жирная точка.

Качество должно быть превыше скорости поставки изменений в продукт. Потому как в отсутствие качества, вы в итоге получаете говнукт, данные которого уходят в  говнилище. 

Когда-то давным-давно на просторах интернета был найден вот такой вот полезный файл: 

Именно на основании этого файла и пособия для дата-озабоченных DAMA-DMBoK проектировалась организационная структура подразделения Дата.

Думаю, что у большинства из вас, кто давно занимается Data Governance, этот файлик тоже есть. Но вдруг кто-то пропустил?
Спасибо хорошему человеку, который когда-то собрал эту замечательную табличку на русском языке, а также ещё одному не менее хорошему человеку, который выложил этот файл в общий доступ.

Версия в Excel 97-2003:

В июне 2024 прошел форум EDW 2024, основные моменты, касающиеся моделирования данных представлены в Части 1 - Моделирование данных.

В этой статье поговорим про архитектуру данных.

Стандарт TOGAF®, наиболее известный фреймворк для корпоративной архитектуры, рассматривает архитектуру данных как один из четырех типов корпоративной архитектуры. Эти четыре типа архитектуры - бизнес, данные, приложения и технологические. Они определяют архитектуру данных как “Описание структуры основных типов и источников данных предприятия, логических активов данных, физических активов данных и ресурсов управления данными“. Результаты моделирования данных являются частью архитектуры данных.

В то же время DAMA-DMBOK2 придерживаются другого подхода: они заменяют три типа архитектур (данные, приложения и технологии) одним термином “архитектура данных”.

Мне нравится представление Enterprise Architecture, которое содержит понятие информационная архитектура. Как видно из рисунка, информационная архитектура управляет объектами информационной архитектуры (сущностями), логическими и физическими моделями данных, метаданными, а также инструментами управления данным (под инструментами тут имеем в виду методологию, подходы, стандарты и шаблоны - не информационные системы).

В этой книге описан проверенный процесс мониторинга данных, который поможет вам устранить все проблемы с качеством данных. Он был создан командой DQOps на основе их опыта в области очистки данных и мониторинга качества данных.

В этой книге вы найдете, как:

- Установить основные цели по повышению качества данных.

- Организовать и сделать итеративный проект по очистке данных.

- Измерить качество данных по нескольким параметрам, таким как точность, достоверность, полнота, непротиворечивость, актуальность или своевременность.

- Выявить проблемы с качеством данных и своевременно устранить их в будущем.

- Выявить проблемы в конвейерах передачи данных.

Узнайте больше о DQOps на оригинальном сайте.

В июне 2024 прошел международный форум EDW 2024, основные моменты, которые обсуждала аудитория, в процентном соотношении были представлены так, как вы видите на картинке.

Самые горячие темы Data Governance и Data Architecture&Modeling.  Подробности можно узнать из статьи Enterprise Data World 2024 Takeaways

Основные обсуждаемые топики и выводы, сделанные сообществом на EDW 2024:

1. Практика моделирования данных претерпевает ряд серьезных изменений в связи с некоторыми отраслевыми тенденциями. В какой-то момент искусственный интеллект может стать разработчиком моделей данных. Генеративный ИИ окажет существенное влияние на моделирование данных.

Кто такие владельцы данных, как их назначают и за что они отвечают? Прежде чем ответить на эти вопросы, необходимо раскрыть понятие владения: в первую очередь это ответственность за качество данных, которая выражается в создании новых, контроле существующих и исправлении ошибочных данных. А теперь нужно определиться с объектом владения, для этого необходимо понять, какие существуют подходы к владению данными.

Чтобы определиться с подходом к владению, нужно выполнить три последовательных шага:

1. Определить границы владения: бизнес-область, в которой устанавливается владение. Данная область знаний должна быть четко очерчена и понятна всем в организации. Границы бизнес-области может определять, например, a - оргструктура, b - бизнес-процесс, c - продуктовая линейка, d - бизнес-сервис и т.п.

2. Необходимо выделить атомарные единицы управления данными внутри этих областей - объекты данных, например, a - бизнес-сущности и атрибуты, b - информационные сервисы, c - продукты.

3. Установить правила владения объектами данных: a - все данные в периметре объекта данных, b - только свои данные, т.е. те, которые создаются и контролируются владельцем данных, c - только свои данные и те, которые изменяются в периметре ответственности.

Самое оптимальное сочетание - это Бизнес-сервис (1.d) -> Бизнес-сущность (2.a) -> Мастер-объект (3.b).