Моделирование данных и дата-модель - это не только про базу данных
“На самом деле основная цель моделирования данных заключается не в разработке базы данных, а в описании бизнеса”, – говорит Кристофер Брэдли, специалист по информационной стратегии DMA Advisors. Брэдли выступил на онлайн-конференции по архитектуре данных с докладом о целях моделирования данных и его роли в управлении данными и управлении успешным бизнесом.
Основной вопрос, на который постарался ответить эксперт, звучит как:
Нужны ли нам модели данных в современном мире?
По мнению эксперта 85% проектов Data Lake потерпели неудачу, так как полагались на магию: невозможно поместить большие данные в волшебную корзину и ожидать результатов, в отсутствие схемы, описывающей эти данные - модели данных. Это не значит, что данные должны быть 100% достоверными, но они должны иметь минимально пригодный уровень для дальнейшей переработки и анализа. В противном случае, вам не помогут все эти новомодные тренды и технологии, опирающиеся на искусственный интеллект или машинное обучение.
Вот основные тезисы выступления эксперта:
Модель данных может обеспечить ясность определения и понимание того, где процессы и данные взаимодействуют.
Модель поможет избежать кейсов позднего обнаружения пропущенных требований, что поможет избежать ненужных затрат.
Важно взаимодействие между бизнесом и процессами, обеспечивающее четкое понимание того, где используются данные и как они помогают определять бизнес-правила.
Модели данных предоставляют общий словарь (Data Dictionary), обеспечивая основу для понимания данных на любом уровне - концептуальном или физическом.
Внедрение дата-центричных подходов начинается с моделирования данных.
Модель данных нужна не только разработчику информационной системы. Технические детали, использующиеся на физическом уровне не помогают бизнесу принимать решения на ранних стадиях разработки продуктов. Важно разработать и предоставить каждому свой уровень модели данных, например, бизнес-подразделениям нужны концептуальные модели данных.
В общем случае модель данных поможет бизнесу ответить на следующие вопросы:
1. Какие данные нам нужны для ведения нашего бизнеса?
Это подразумевает наличие моделей данных бизнес-уровня, связанных с моделями процессов, с надлежащим управлением, хорошими описаниями и глубоким пониманием того, как используются процессы и данные.
2. Согласны ли мы с тем, что означают данные?
Так много проблем возникает из-за разного понимания базовых концепций, например, того, как определяется термин “клиент”. Термины, используемые в глоссарии моделей, должны соответствовать лексике, используемой заинтересованными сторонами бизнеса.
3. Знаем ли мы, где находятся данные?
Для этого понимания требуются логические модели данных, связанные с глоссариями, с определениями, связывающими их с физическими моделями и системами. Данные физических моделей должны быть задокументированы и каталогизированы через словарь данных (Data Dictionary), на который должны быть сделаны перекрестные ссылки в глоссарии.
4. Были ли выделены ответственные лица с нужными навыками и внедрены нужные процессы для управления данными?
Компетенции, умения и возможности должны быть предоставлены правильным людям, согласованы с заинтересованными сторонами бизнеса, учтены требования безопасности, в зависимости от предметной области бизнес-данных.
5. Соответствует ли это цели?
“Соответствие поставленной цели” - это относится не только к качеству данных. Оно также охватывает аспекты безопасности, соблюдения нормативных и регуляторных требований, критичность для бизнеса тех или иных данных.
Моделирование данных - это нечто большее, чем вы думали :)