creator cover DG4All
DG4All

DG4All 

Data Governance для Чайников

86subscribers

99posts

Showcase

19

About

Data Governance для Чайников - простыми словами про Управление данными, Качество данных и Моделирование данных.
Основная миссия канала: Дата-Ликбез и помощь всем в работе с данными.
Материал к статье: Статьи с рабочими материалами и примерами в файлах, доступны сначала по подписке Юзверь, через 7 дней уровень доступа повышается, также всё можно приобрести разово.
Дополнительный контент: готовые модели данных, презентации, методологии - бери и работай - доступно по подписке Мастодонт или разово.
Контент с пометкой Эксклюзив распространяется только по разовой оплате.
Архив статей за 2023 год доступен на дзен, новости публикуются в телеграм

Напоминалочка: книги и материалы к статьям

Толковый словарь Data Governance: собираем в одном месте термины и определения, которые используются в мире Data Management, описания даны простым языком, есть примеры, ссылки на статьи с подробными описаниями. Раздел постоянно пополняется.
На канале можно скачать полезные книги:

- Дэн Линстед. Построение высоконагруженного хранилища - книга от основоположника подхода моделирования хранилищ Data Vault;
- Ральф Кимбалл. Проектирование хранилищ данных - про снежинки и их отличие от звёзд.
- Билл Инмон. Построение хранилищ данных - базовое пособие для всех, кто занимается построением систем хранения данных или только собирается влиться в эту индустрию. Про звёзды )) и не только!
-  Основы реляционных баз данных от Ребекки М. Райордан (Rebecca M. Riordan designing relational database systems). Пост со ссылкой на книгу тут (ищите в конце статьи).
- Книга о том, как правильно повышать качество данных: Повышение качества данных: пошаговая инструкция.  
- Библия для дата-практиков - Свод знаний DAMA-DMBok


Выложены рабочие материалы к статьям:
- Бизнес-критичность данных - инструкция о том, как выявлять критичные данные в ваших информационных системах.
- Правила моделирования данных - Документ во вложении включает общие правила моделирования, которые применимы абсолютно ко всем организациям (для концептуальных, логических и физических моделей данных).
- Метамодель Data Governance - концептуальная модель данных для области знаний Data Governance, содержит основные объекты управления и связи между ними.
Классификатор причин и источников некачественных данных - У всех участников финансовых рынка есть задача выполнить требования 716-П (Операционные риски) и 845-П (ПВР);
- Нормативно справочная информация: как её распознать и что дальше с ней делать, мини-гайд.
- Статья Зачем нам нужны процессы Data Governance? - и подкрепляющий материал с расчётом "Снижение T2M на Анализ данных".
Роли в Data Management: список функций и результатов в разрезе направлений Data Management c указанием роли, которая выполняет эти функции.
- Статья:

Моделирование данных - новый обучающий курс

Вышла первая часть большого курса из цикла Data Governance: Моделирование данных.
Это часть курса даёт начальные знания о подходах в моделировании данных, а также предназначен как подспорье для систематизации знаний в этой области.
Подробно рассмотрены модели данных типа сущность-связь, а также уровни их проектирования - концептуальный, логический, физический. Также нашлось место и для даталинеджа.
В курсе много тестов и примеров для подкрепления теоретических знаний. Ну и, конечно, автор готов ответить на все ваши вопросы, которые возникнут в процессе прохождения курса.
Описание курса смотрите по ссылке Моделирование данных
Для самых проворных и жаждущих знаний есть ссылка с промокодом: жми для получения скидки 10% сюда
Приходите посмотреть, пожалуйста )
(ссылка с промо действует до 20.05.2026)

Моделирование данных

Вот и пришло время, когда потребность в собственном инструменте моделирования данных встала остро. Почему? Прежде всего, это связано с тем, что моделирование данных больше не локальная задача для отдельно сидящего архитектора данных, а одно большое дело, в котором количество потенциальных участников уже перевалило за первый десяток человек.  
Почему потенциальных? Потому что работать разрозненно с моделями данных, если вас больше трёх человек, уже проблема, а если вы хотите внедрить этот процесс для корпорации, то вам точно потребуется подспорье в виде хорошего инструмента с серверной лицензией, которая позволит не просто вести совместную работу, но и аккуратно синхронизировать изменения, сделанные в моделях.
Вот тут был чек-лист, чтобы определиться нужно ли покупать продукт или стоит выбрать опенсорс, а может быть, даже замутить собственную разработку.
Ранее уже выходила статья про выбор инструмента моделирования данных и публиковалась таблица требований. Так что сегодня просто апдейт спустя пару лет ))
xlsx
Требования к инструменту_моделирование данных.xlsx14.91 Kb

Качество данных и его влияние на эффективность бизнеса

Представляем вам пресс-релиз седьмой всероссийская конференции Качество данных-2026, на которой продолжилось обсуждение подходов, инструментов и практик обеспечения гарантированно высоких показателей качества данных корпоративных бизнес-процессов.
5 февраля 2026 года издательство «Открытые системы» провело седьмую ежегодную конференцию «Качество данных». Ее главной темой стало формирование конвейеров данных, обеспечивающих необходимый уровень качества данных, и их интеграцию в корпоративные бизнес-процессы. Это единственная в России и СНГ конференция, полностью посвященная стратегии и практике обеспечения качества данных.
Качество данных — ключевой фактор доверия к ним со стороны бизнеса и жизненно важный фундамент для принятия обоснованных решений. Требуемый уровень качества данных достигается путем внедрения контрольных процедур и поддерживающих их инструментов на всех этапах жизненного цикла данных, а также их встраивания в бизнес-процессы организации.
Главной темой стратегической сессии конференции «Качество данных — 2026» стала взаимосвязь между качеством данных и качеством бизнес-процессов. Сессии, посвященные бизнес-практикам, были сконцентрированы на формировании в организациях экосистем обеспечения качества данных и их встраивании в бизнес-процессы. В ходе технологических сессий участники конференции обсудили вопросы достоверности, безопасности, актуальности данных, их архитектуры, инструменты для управления качеством данных, а также подходы к встраиванию российских решений в имеющиеся в организациях инфраструктуры данных. Участники конференции обсудили широкий спектр вопросов, затрагивающих качество данных и эффективность опирающихся на них бизнес-процессов.
Ирина Долженко, главный эксперт департамента информатизации РЖД, представила уникальный опыт построения единой экосистемы управления данными.
Бизнес-критичность данных - как этим управлять?
Есть два пути в процессе выявления критичных данных: от процессов или от информационных систем, а дальше следуйте правилам во вложении
Level required:
Дата-Котик
Правила моделирования данных
Level required:
Дата-Котик
Метамодель - Data Governance
Концептуальная модель содержит основные объекты, которые вам потребуются, чтобы построить систему управления метаданными, связи между ними
Level required:
Дата-Котик

Как управлять метаданными и НСИ

Подъехали новые рекомендации от Банка Росси.
Скачивайте, оценивайте, применяйте.
Своё мнение относительно представленных материалов по метаданным писала чуть раньше, по НСИ посмотрю внимательно и дам обратную связь - тема очень близкая мне в последнее время, поэтому не смогу пройти стороной. Ждите. ))
pdf
recommendations_Meta.pdf1.06 Mb
pdf
recommendations_НСИ.pdf1.02 Mb

Метаданные - промежуточный итог

Пора раскрыть интригу. Всплеск постов на тему метаданных в моём канале был не спроста: всё было направлено на то, чтобы выявить ваши предпочтения и оценить толерантность к возможным нововведениям.
Есть две новости:
Первая хорошая - мы все толерантны.
Вторая не очень и звучит она так: регулятор в виде Банка России готовит нам сюрприз, они собираются выкатить новую рекомендацию, касающуюся ведения метаданных. И новый документ содержит вот такой совет.
В практической деятельности выделяют следующие виды метаданных:
1) описательные;
2) структурные;
3) административные.
Всё тайное стало явным. Если вы посмотрите результаты опроса в телеграм-канале, то увидите, что на вопрос "Какие типы метаданных вы будете использовать?", ответ - "библиотечные (описательные, структурные, административные)" - дали НОЛЬ респондентов!
Честно говоря, очень хочется, чтобы результаты опроса дошли и до участников рабочей группы Банка России, которые придумали нам такие прекрасные виды метаданных. Коллеги, ну зачем было изобретать велосипед?! Скорее отыграйте историю обратно - ведь всем нам привычнее рекомендованные международным стандартом DAMA-DMBok типы: бизнес-метаданные и технические ))
Главный вопрос: как так вышло, что участникам финансового рынка вменяют использовать библиотечные типы метаданных? Думаю, что просто коллеги заигрались в процессе выбора наиболее обтекаемых и абстрактных понятий. Всем казалось, что раз мы учитываем свои метаданные в каталогах данных, то и типизировать мы их должны как в библиотеках. Но нет, господа, в библиотеках хранятся полные версии документов: аудио, видео или текстовые версии чего бы то ни было. А у нас с вами даже не СЭД (система электронного документооборота), мы с вами в нашей библиотеке храним метаданные - по большей части это заголовки и метки!

Правила ведения Терминов в бизнес-глоссарии

Бизнес-глоссарий - это инструмент для управления бизнес-метаданными. Бизнес-метаданные - это данные, которые описывают особенности ведения бизнес-процессов, связи между бизнес-объектами и организационную структуру вашей организации. Центральное место в бизнес-глоссарии занимает понятие Термин. Для чего вводят и описывают термины? -  для формирования единой версии правды. Глоссарий терминов представляет собой базу знаний, которая позволяет получить полное представление о бизнесе-контексте, в котором живёт компания.
Иными словами, термины помогают объяснить всем потенциальным участникам процесса, бизнес-пользователям, разработчикам и прочим вовлеченным лицам, с чем им предстоит работать, а также помогают договориться о единых правилах именования бизнес-объектов, участвующих в производственном процессе. 
И первое, с чем приходится столкнуться - это правила ведения словаря терминов и определений. Вот некоторые из них:
1. При описании терминов в бизнес-глоссарии не допускается дублирование терминов.
2. Название термина заполняется на русском языке без сокращений.
3. Если названия терминов описывают схожие бизнес-объекты, необходимо добавить к каждому из описаний бизнес-контекст, чтобы исключить дублирования и уточнить смысловую разницу между ними.
4. Описание термина заполняется максимально подробно, чтобы дать полное представление об использовании этого типа информации в бизнес-процессах компании.
5. Аббревиатуры, сокращения и названия терминов на других языках добавляются как Синонимы (в отдельное поле).
6. При добавлении термина обязательно указывается Мастер-процесс или мастер-продукт, в котором создается/контролируется термин.
7. Для каждого термина необходимо указать Владельца данных.
Кроме терминов и определений бизнес-глоссарий также управляет следующими категориями бизнес-метаданных:
Subscription levels3

Юзверь

$1.48 per month
Оставить чаевые автору :)
и получить ранний доступ к статьям и  материалам к ним (скачать можно в течение месяца с момента публикации)

Дата-Котик

$5.9 per month
Бессрочный доступ к статьям и материалам к ним

Мастодонт

$14.8 per month
Доступ ко всем статьям, материалам и к дополнительному контенту.
Или просто Большое спасибо автору
Go up