Про инструменты Data Gov от Vendor и Open Source
Коллеги, знаю, что многие сейчас столкнулись с проблемой выбора инструментов автоматизации для управления процессами Data Governance. И движет вами или импортозамещение, или осознание необходимости управлять своими дата-процессами системно и автоматизированно.
Что предлагает рынок? Есть российские вендорские решения, самые известные среди них:
- допишите свой вариант, можете в комментариях...
В целом, я считаю, не густо. Но существует также вариант использования Open Source инструментов. Таких тоже не очень много, вот самые популярные среди них:
OpenMetadata
LinkedIn DataHub
Apache Atlas
- вот тут по ссылке найдёте чуть больше, но остальные менее известны в русскоязычной среде.
Что хотелось бы подсветить в текущем посте: нужно хорошо подумать и оценить свою организацию и её потребности, прежде чем останавливать свой выбор на том или ином решении. И тут я говорю даже не о функциональных требованиях к инструменту, что, конечно, немаловажно, но в целом про сложившуюся у вас в организации ситуацию и корпоративную культуру.
Назовем это блок предпосылок и ограничений к выбору. Спросите себя:
1. Выделен ли бюджет на закупку инструмента DG?
2. Выделен ли бюджет на развитие и разработку инструмента?
3. Существуют ли в вашей компании процессы Data Governance, описанные с достаточным уровнем понимания и практического их применения?
4. Нужна ли вам в компании экспертиза по разработке продуктов Data Governance?
5. Нужна ли вам техподдержка при внедрении инструмента?
6. Нужны ли вам консультации по функционалу инструмента?
7. Являются ли процессы Data Governance и поддерживаемые ими процессы/продукты бизнес-критичными?
8. Необходимо ли оперативно реагировать на выявленные баги инструмента и устранять их?
9. Насколько критично следовать всем заявленным функциональным требованиям, возможно ли часть из них реализовать вручную (конфа, ексель)?
10. Насколько для вас критичны сроки внедрения решения?
11. И что-то ещё, конечно - предлагайте в комментах или делитесь опытом: какие ограничения были у вас.
Ответив на все эти вопросы, вы получите руководство к действию - куда вам предпочтительно идти - в Vendor или в Open Source. (В ближайшее время выложу эл.табличку - маршрут принятия решения с комментариями и пояснениями.)
Если коротенько, то, выбирая Vendor-tool, мы получаем комплекс услуг, которые гарантируют нам некий достойный уровень качества решения или, по крайней мере, мы получаем гарантию, что найденные нами ошибки будут исправлены без дополнительных вложений с нашей стороны. Тоже, конечно, спорно. )) При этом совсем никто не гарантирует вам, что будут учтены все ваши хотелки.
В случае же с Open Source мы пускаемся в путешествие полное неожиданных встреч и опасностей. И в этом плавании вы будете один на один со своим инструментом. Очевидно, что, пускаясь в такое опасное путешествие, вам необходима хотя бы команда, которая будет своевременно исправлять и устранять баги. И, конечно, есть надежда, что та же команда сможет реализовать все ваши хотелки. Тоже спорно )), потому что у каждого инструмента есть ограничения, в которые вы рано или поздно упрётесь.
Хотите большей прозрачности и надёжности - идите к вендору. Можете позволить себе тратить время на изучение архитектуры и функциональности стороннего решения и допиливать всё на ходу - вам в опенсорс.
Есть 3-й вариант, но он для самых борзых и смелых (Да здравствуют слабоумие и отвага!) - собственная разработка. Тут отмечу важный аспект, если вы НЕ:
- интегратор, который планирует создать новый продукт и зарабатывать на нём;
- крупный холдинг, который планирует тиражировать разработанный продукт на все свои тыщи зависимых обществ;
то вам собственная разработка - НЕ НУЖНА!
PS: В OpenMetadata наковыряли столько багов!!! с голой жопой не взлететь...
