creator cover DG4All
DG4All

DG4All

Data Governance для Чайников

82subscribers

93posts

About

Data Governance для Чайников - простыми словами про Управление данными, Качество данных и Моделирование данных.
Основная миссия канала: Дата-Ликбез и помощь всем в работе с данными.
Ранний доступ: Все статьи доступны сначала по подписке, через 3-7 дней доступ разблокируется - просто нужно +Отслеживать новости.
Материал к статье: выкладываю рабочие примеры в таблицах или текстовых файлах, доступно по подписке или разово.
Дополнительный контент: готовые модели данных, презентации, методологии и прочее - бери и работай - доступно по подписке Мастодонт или разово.
Контент с пометкой Эксклюзив распространяется только по разовой оплате.
Архив статей за 2023 год доступен на дзен, новости публикуются в телеграм 

Как управлять метаданными и НСИ

Подъехали новые рекомендации от Банка Росси.
Скачивайте, оценивайте, применяйте.
Своё мнение относительно представленных материалов по метаданным писала чуть раньше, по НСИ посмотрю внимательно и дам обратную связь - тема очень близкая мне в последнее время, поэтому не смогу пройти стороной. Ждите. ))
pdf
recommendations_Meta.pdf1.06 Mb
pdf
recommendations_НСИ.pdf1.02 Mb

Метаданные - промежуточный итог

Пора раскрыть интригу. Всплеск постов на тему метаданных в моём канале был не спроста: всё было направлено на то, чтобы выявить ваши предпочтения и оценить толерантность к возможным нововведениям.
Есть две новости:
Первая хорошая - мы все толерантны.
Вторая не очень и звучит она так: регулятор в виде Банка России готовит нам сюрприз, они собираются выкатить новую рекомендацию, касающуюся ведения метаданных. И новый документ содержит вот такой совет.
В практической деятельности выделяют следующие виды метаданных:
1) описательные;
2) структурные;
3) административные.
Всё тайное стало явным. Если вы посмотрите результаты опроса в телеграм-канале, то увидите, что на вопрос "Какие типы метаданных вы будете использовать?", ответ - "библиотечные (описательные, структурные, административные)" - дали НОЛЬ респондентов!
Честно говоря, очень хочется, чтобы результаты опроса дошли и до участников рабочей группы Банка России, которые придумали нам такие прекрасные виды метаданных. Коллеги, ну зачем было изобретать велосипед?! Скорее отыграйте историю обратно - ведь всем нам привычнее рекомендованные международным стандартом DAMA-DMBok типы: бизнес-метаданные и технические ))

Правила ведения Терминов в бизнес-глоссарии

Бизнес-глоссарий - это инструмент для управления бизнес-метаданными. Бизнес-метаданные - это данные, которые описывают особенности ведения бизнес-процессов, связи между бизнес-объектами и организационную структуру вашей организации. Центральное место в бизнес-глоссарии занимает понятие Термин. Для чего вводят и описывают термины? -  для формирования единой версии правды. Глоссарий терминов представляет собой базу знаний, которая позволяет получить полное представление о бизнесе-контексте, в котором живёт компания.
Иными словами, термины помогают объяснить всем потенциальным участникам процесса, бизнес-пользователям, разработчикам и прочим вовлеченным лицам, с чем им предстоит работать, а также помогают договориться о единых правилах именования бизнес-объектов, участвующих в производственном процессе. 
И первое, с чем приходится столкнуться - это правила ведения словаря терминов и определений. Вот некоторые из них:
1. При описании терминов в бизнес-глоссарии не допускается дублирование терминов.
2. Название термина заполняется на русском языке без сокращений.
3. Если названия терминов описывают схожие бизнес-объекты, необходимо добавить к каждому из описаний бизнес-контекст, чтобы исключить дублирования и уточнить смысловую разницу между ними.
4. Описание термина заполняется максимально подробно, чтобы дать полное представление об использовании этого типа информации в бизнес-процессах компании.
5. Аббревиатуры, сокращения и названия терминов на других языках добавляются как Синонимы (в отдельное поле).
Классификатор причин и источников некачественных данных
Файл со списком причин возникновения некачественных данных, а также немного слов про их связь с инцидентами качества
Level required:
Дата-Котик

Data Vault - что это и как делать

Конечно, нужно читать базу, т.е. обратиться к первоисточнику. 
Но для начала что такое Data Vault - это шаблон проектирования хранилищ данных, предложенный Дэном Линстедом в уже далёком 2000 году. Сначала был просто Data Vault, а потом появился Data Vault 2.0, который исправил недочеты и разночтения первой версии. 
В основе моделирования по Линстеду лежат три ипостаси:
Хабы, Сателлиты и Линки.
Хаб - это объект моделирования типа сущность, который консолидирует под собой Сателлиты. 
В хабе записываются обычно только идентификационные ключи экземпляров сущностей, уникальные ключи и специальные технические поля для управления сущностью.
Сателлит - объект моделирования типа сущность, являющийся дочерним по отношению к Хабу. В сателлите хранится вся красота характеристик и свойств сущности.
Типизация Сателлитов возможна по принципам, которые вы сами для себя определите. Доминируют, обычно, такие варианты:
- типизация по системе источнику - собираем под одним хабом все сущности одного объекта, живущие в разных информационных системах (Сотрудник в ИС приёма на работу, Сотрудник в ИС обучения);
- типизация по бизнес-процессу источнику - под одним хабом храним различные варианты одной сущности, в зависимости от места возникновения с ракурса бизнес-процесса (Сделка на депозит, Сделка на ипотеку);
Как понять, заводить справочник или нет
Как понять что перед вами НСИ, и что дальше с этим делать - нести в систему класса RDM или оставить где есть? мини-преза, мини-гайд
Level required:
Дата-Котик

Архитектура и моделирование данных

Ещё один документ от Банка России - Концептуальный дизайн и моделирование данных, рекомендации по построению процесса.
Читайте, изучайте )
pdf
Recommendations_arch.pdf560.01 Kb

Концептуальный дизайн Data Governance

Ещё одна рекомендация от Банка России в части построения процесса "Руководство данными" (Data Governance)
Процесс руководства данными рекомендуется построить на следующих шагах:
1. Наличие документированных политик и процедур управления
данными.
2. Организация учета данных.
3. Регулярные проверки и оценка процессов управления данными.
4. Интеграция процессов управления данными с бизнес-процессами.
5. Непрерывное улучшение процессов управления данными.
6. Управление рисками данных.
7. Обучение подходам к управлению данными.
И, конечно, много-много коммуникаций между владельцами данных и офисом DGO :), а кроме того курсы, вебинары, митапы и т.д.
pdf
recommendations_DG.pdf1.50 Mb
Счастья вам! :)

Организация Системы управления качеством данных - рекомендации Банка России

Это концептуальный дизайн процесса "Управление качеством данных". Добротное большое пособие, которое поможет вам подготовить Методику управления качеством данных и сформировать требования к информационной системе управления качеством данных. Само собой и процесс сможете разработать, опираясь на предложенные рекомендации.
Чего там много: показателей эффективности процесса с подробным описанием и с формулами расчета - ажно 20 штук ))
Есть матрица RACI по процессу с задачами-результатами, каждый результирующий артефакт подробно описан в отдельной таблице. Также есть соотнесение артефакт - уровень зрелости процесса, что поможет вам оценить свой текущий уровень зрелости и понять как вам двигаться дальше. 
Да что там говорить - берите и работайте. В целом очень полезный документ, спасибо коллегам! ))
PDF
recommendations_КД.PDF1.81 Mb

Оценка зрелости СУД для участников финансового рынка

Банк России продолжает радовать нас методическими материалами. Сегодня выкладываю методику по оценке зрелости системы управления данными (СУД) и опросник к ней.
Данная методика рекомендуется к применению всем участникам финансового рынка. Методика авторская от Банка России (не чистый CMM), но сильно на неё похожа по содержанию и даже количество уровней аналогичное. (Просто не было найдено ссылок на CMM, поэтому пишу, что не CMM)
За подробностями и инструкциями - в приложенный ниже pdf файл.
Перечень практик, учтенных в опроснике:
1) руководство данными;
2) архитектура и моделирование данных;
3) качество данных;
4) безопасность данных;
5) справочные и основные данные;
6) управление метаданными;
7) интеграция данных;
8) управление рисками и соблюдение нормативных требований к данным.
pdf
method_оценка_зрелости.pdf890.88 Kb
Subscription levels3

Юзверь

$ 1.29 per month
Оставить чаевые автору :)
и получить ранний доступ к статьям и  материалам к ним (скачать можно в течение месяца с момента публикации)

Дата-Котик

$ 5.2 per month
Бессрочный доступ к статьям и материалам к ним

Мастодонт

$ 12.9 per month
Доступ ко всем статьям, материалам и к дополнительному контенту.
Или просто Большое спасибо автору
Go up