Enterprise Data World 2024 - Часть1, моделирование данных
В июне 2024 прошел международный форум EDW 2024, основные моменты, которые обсуждала аудитория, в процентном соотношении были представлены так, как вы видите на картинке.
Самые горячие темы Data Governance и Data Architecture&Modeling. Подробности можно узнать из статьи Enterprise Data World 2024 Takeaways
Моделирование данных
Основные обсуждаемые топики и выводы, сделанные сообществом на EDW 2024:
1. Практика моделирования данных претерпевает ряд серьезных изменений в связи с некоторыми отраслевыми тенденциями. В какой-то момент искусственный интеллект может стать разработчиком моделей данных. Генеративный ИИ окажет существенное влияние на моделирование данных.
2. Согласно классическому подходу, модель корпоративных данных включает в себя три типа моделей данных: концептуальную, логическую и физическую. Однако на практике многие компании отходят от этого подхода и стремятся документировать и увязывать семантические и физические модели данных.
3. Согласно классическому подходу, организация должна разработать единую корпоративную модель данных. Однако это вряд ли осуществимо в организациях со сложными бизнес-моделями и доменами. Реальность и новые типы архитектуры данных (бизнес-домен и data mesh) приводят к необходимости разработки моделей данных для каждой предметной области и последующего связывания этих нескольких моделей друг с другом, обычно на семантическом уровне.
4. Моделирование данных от предметной области (domain-driven), имеет ряд преимуществ: оно помогает согласовать бизнес и ИТ за счет общего понимания контекста и значения данных, также модели данных меньшего размера (модели продуктов) проще переносить на сложные приложения, ещё их можно реализовывать с помощью различных технологий.
5. Настоятельно рекомендуется разрабатывать концептуальные и семантические модели.
Однако вы должны знать о некоторых проблемах, связанных с этими двумя моделями (концептуальная и семантическая):
Первая проблема заключается во взаимосвязях между этими моделями. Словарь DAMA определяет семантическую модель как “концептуальную модель данных, которая обеспечивает структуру и описывает назначение данных, делая эти данные достаточно понятными, чтобы человек или программный продукт могли идентифицировать его”. Таким образом, мы можем заключить, что семантическая модель - это тип концептуальной модели, которая включает в себя семантическую информацию.
Вторая проблема заключается в том, что DAMA-DMBOK2 и стандарт TOGAF® расходятся во мнениях по ключевым компонентам концептуальной / семантической модели. DAMA-DMBOK2 включает в понятие концептуальной модели “предметные области бизнеса”, “концепты” (или “поведение”) в качестве основных объектов. Стандарт TOGAF® оперирует объектами данных как основными компонентами концептуальной модели, в то время как объекты данных являются компонентами логической и физической модели в подходе DAMA-DMBOK2.
В любом случае разработка концептуальных моделей имеет множество преимуществ, таких как:
- Согласование и упрощение бизнес-терминологии и облегчение коммуникации в различных областях бизнеса.
- Определение бизнес-границ и потребностей в инициативах, связанных с данными.
- Расширение возможностей сотрудничества между различными пользователями данных.
Часть 2 - архитектура данных coming soon