creator cover DG4All
DG4All

DG4All 

Data Governance для Чайников

87subscribers

101posts

Showcase and bundles

19
A bundle is a collection, compilation, playlist, or catalog of posts that saves you from searching through the blog and lets you buy the entire content series in a single click.

About

Data Governance для Чайников - простыми словами про Управление данными, Качество данных и Моделирование данных.
Основная миссия канала: Дата-Ликбез и помощь всем в работе с данными.
Материал к статье: Статьи с рабочими материалами и примерами в файлах, доступны сначала по подписке Юзверь, через 7 дней уровень доступа повышается, также всё можно приобрести разово.
Дополнительный контент: готовые модели данных, презентации, методологии - бери и работай - доступно по подписке Мастодонт или разово.
Контент с пометкой Эксклюзив распространяется только по разовой оплате.
Архив статей за 2023 год доступен на дзен, новости публикуются в телеграм

Напоминалочка: книги и материалы к статьям

Толковый словарь Data Governance: собираем в одном месте термины и определения, которые используются в мире Data Management, описания даны простым языком, есть примеры, ссылки на статьи с подробными описаниями. Раздел постоянно пополняется.
Есть 2 курса на Степике:
- Data Governance для чайников: вводный курс
- Моделирование данных
На канале можно скачать полезные книги:

- Дэн Линстед. Построение высоконагруженного хранилища - книга от основоположника подхода моделирования хранилищ Data Vault;
- Ральф Кимбалл. Проектирование хранилищ данных - про снежинки и их отличие от звёзд.
- Билл Инмон. Построение хранилищ данных - базовое пособие для всех, кто занимается построением систем хранения данных или только собирается влиться в эту индустрию. Про звёзды )) и не только!
-  Основы реляционных баз данных от Ребекки М. Райордан (Rebecca M. Riordan designing relational database systems). Пост со ссылкой на книгу тут (ищите в конце статьи).
- Книга о том, как правильно повышать качество данных: Повышение качества данных: пошаговая инструкция.  
- Библия для дата-практиков - Свод знаний DAMA-DMBok
 
 
Выложены рабочие материалы к статьям:
- Бизнес-критичность данных - инструкция о том, как выявлять критичные данные в ваших информационных системах.
- Правила моделирования данных - Документ во вложении включает общие правила моделирования, которые применимы абсолютно ко всем организациям (для концептуальных, логических и физических моделей данных).
- Метамодель Data Governance - концептуальная модель данных для области знаний Data Governance, содержит основные объекты управления и связи между ними.
- Классификатор причин и источников некачественных данных - У всех участников финансовых рынка есть задача выполнить требования 716-П (Операционные риски) и 845-П (ПВР);
- Нормативно справочная информация: как её распознать и что дальше с ней делать, мини-гайд.
- Статья Зачем нам нужны процессы Data Governance?

Ранжирование систем моделирования данных

Кто к нам пришёл на отбор - читайте в предыдущем посте. Мы всех померяли, замеряли, пособеседовали и вот - такой у нас получился квадрант ))
 
Как оценивали:
Ось X - технологии: включают возможности самостоятельного развития продукта, возможность подключения ИИ-сервисов, в стэке технологий особое внимание - графовая база данных;
Ось Y - зрелость продукта: готовность продукта к запуску, широта функциональных возможностей, особое внимание - наличие функционала метамоделирования;
Третья координата размер пузырька - соответствие нашим функциональным требованиям, т.е. соответствие исключительно под наши хотелки.
 
И вот теперь немного подробнее про наши хотелки. Основное требование к системе моделирования - это возможность выполнения в ней процесса проектирования моделей данных и эффективное управление им.

Что для нас означает возможность выполнения процесса:
- проектирование моделей данных как минимум на 3-х уровнях: концептуальном, логическом и физическом.
- проектирование потоков данных между слоями и модулями ИТ-ландшафта, а также ведение дата-контрактов.
- поддержка ведения онтологий и таксономий данных в пространстве управления метаданными.
 
Теперь по второму тезису - эффективное управление. Задача стоит нетривиальная, мы хотим практически полностью отказаться от корректирующих мер управления качеством - моделей и данных - и перейти в плоскость превентивных мероприятий. Понятие архитектурный контроль заиграло новыми красками ))

Выбор системы для моделирования данных

Вот и пришло время подвести итоги.
Позади длинный путь: встречи с коллегами, споры "как должно быть", анализ рынка существующих инструментов и просмотр демо-версий. Изучали тщательно, оценивали каждую систему на покрытие требований - объём реализованных требований и качество их реализации (требования к системе моделирования, которыми мы пользовались, можно посмотреть тут - https://boosty.to/datagovernance/posts/efbbcb66-a487-443e-830f-833883dd210c?share=post_link)
Кстати, в статье по ссылке выше есть также рекомендации относительно того, какой путь выбрать - собственная разработка или покупное решение. В итоге оказалось, что вариантов значительно больше. Какой выбрали мы - узнаем через некоторое время. А пока буду знакомить вас с теми, кто принял участие в отборе, кто приходил к нам, показывал свой инструмент и рассказывал про его преимущества. Список участников, которые пришли к нам, ниже - жмите и переходите на страничку продукта ))
 
Арус 
Онто 
Сфера 
Форсаж 
Дата моделер 
Дата Фордж 
СиММА 
Увидимся в ближайшее время!
Новости можно читать на канале в Макс - Data Governance для чайников

Моделирование данных - новый обучающий курс

Вышла первая часть большого курса из цикла Data Governance: Моделирование данных.
Это часть курса даёт начальные знания о подходах в моделировании данных, а также предназначен как подспорье для систематизации знаний в этой области.
Подробно рассмотрены модели данных типа сущность-связь, а также уровни их проектирования - концептуальный, логический, физический. Также нашлось место и для даталинеджа.
В курсе много тестов и примеров для подкрепления теоретических знаний. Ну и, конечно, автор готов ответить на все ваши вопросы, которые возникнут в процессе прохождения курса.
Описание курса смотрите по ссылке Моделирование данных
Для самых проворных и жаждущих знаний есть ссылка с промокодом: жми для получения скидки 10% сюда
Приходите посмотреть, пожалуйста )
(ссылка с промо действует до 20.05.2026)

Моделирование данных

Вот и пришло время, когда потребность в собственном инструменте моделирования данных встала остро. Почему? Прежде всего, это связано с тем, что моделирование данных больше не локальная задача для отдельно сидящего архитектора данных, а одно большое дело, в котором количество потенциальных участников уже перевалило за первый десяток человек.  
Почему потенциальных? Потому что работать разрозненно с моделями данных, если вас больше трёх человек, уже проблема, а если вы хотите внедрить этот процесс для корпорации, то вам точно потребуется подспорье в виде хорошего инструмента с серверной лицензией, которая позволит не просто вести совместную работу, но и аккуратно синхронизировать изменения, сделанные в моделях.
Вот тут был чек-лист, чтобы определиться нужно ли покупать продукт или стоит выбрать опенсорс, а может быть, даже замутить собственную разработку.
Ранее уже выходила статья про выбор инструмента моделирования данных и публиковалась таблица требований. Так что сегодня просто апдейт спустя пару лет ))
xlsx
Требования к инструменту_моделирование данных.xlsx14.91 Kb

Качество данных и его влияние на эффективность бизнеса

Представляем вам пресс-релиз седьмой всероссийская конференции Качество данных-2026, на которой продолжилось обсуждение подходов, инструментов и практик обеспечения гарантированно высоких показателей качества данных корпоративных бизнес-процессов.
5 февраля 2026 года издательство «Открытые системы» провело седьмую ежегодную конференцию «Качество данных». Ее главной темой стало формирование конвейеров данных, обеспечивающих необходимый уровень качества данных, и их интеграцию в корпоративные бизнес-процессы. Это единственная в России и СНГ конференция, полностью посвященная стратегии и практике обеспечения качества данных.
Качество данных — ключевой фактор доверия к ним со стороны бизнеса и жизненно важный фундамент для принятия обоснованных решений. Требуемый уровень качества данных достигается путем внедрения контрольных процедур и поддерживающих их инструментов на всех этапах жизненного цикла данных, а также их встраивания в бизнес-процессы организации.
Главной темой стратегической сессии конференции «Качество данных — 2026» стала взаимосвязь между качеством данных и качеством бизнес-процессов. Сессии, посвященные бизнес-практикам, были сконцентрированы на формировании в организациях экосистем обеспечения качества данных и их встраивании в бизнес-процессы. В ходе технологических сессий участники конференции обсудили вопросы достоверности, безопасности, актуальности данных, их архитектуры, инструменты для управления качеством данных, а также подходы к встраиванию российских решений в имеющиеся в организациях инфраструктуры данных. Участники конференции обсудили широкий спектр вопросов, затрагивающих качество данных и эффективность опирающихся на них бизнес-процессов.
Ирина Долженко, главный эксперт департамента информатизации РЖД, представила уникальный опыт построения единой экосистемы управления данными.
Бизнес-критичность данных - как этим управлять?
Есть два пути в процессе выявления критичных данных: от процессов или от информационных систем, а дальше следуйте правилам во вложении
Level required:
Дата-Котик
Правила моделирования данных
Level required:
Дата-Котик
Метамодель - Data Governance
Концептуальная модель содержит основные объекты, которые вам потребуются, чтобы построить систему управления метаданными, связи между ними
Level required:
Дата-Котик

Как управлять метаданными и НСИ

Подъехали новые рекомендации от Банка Росси.
Скачивайте, оценивайте, применяйте.
Своё мнение относительно представленных материалов по метаданным писала чуть раньше, по НСИ посмотрю внимательно и дам обратную связь - тема очень близкая мне в последнее время, поэтому не смогу пройти стороной. Ждите. ))
pdf
recommendations_Meta.pdf1.06 Mb
pdf
recommendations_НСИ.pdf1.02 Mb
Subscription levels3

Юзверь

$1.25 per month
Оставить чаевые автору :)
и получить ранний доступ к статьям и  материалам к ним (скачать можно в течение месяца с момента публикации)

Дата-Котик

$5 per month
Бессрочный доступ к статьям и материалам к ним

Мастодонт

$12.5 per month
Доступ ко всем статьям, материалам и к дополнительному контенту.
Или просто Большое спасибо автору
Go up