В крупных организациях возможностей и гибкости встроенной аналитики может быть недостаточно. Насущной задачей для директора по работе с данными становится выбор простого способа проанализировать накопленные в каталоге данных и наглядно отобразить необходимые показатели и KPI. Наиболее удобный вариант — визуализация в специализированном программном обеспечении BI.
Подключив внешний BI-инструмент к внутренней базе Arenadata Catalog, пользователь получит возможности по отображению на привычных дашбордах любой аналитики по объектам каталога, визуализации достижения поставленных KPI и управлению прогрессом Data Governance в динамике. Например, специалист по качеству данных может оценивать ежедневный прогресс в выполнении тестов качества данных, определять их суммарное количество, фильтровать параметры выполнения и полученные результаты. Директор по данным — анализировать количество пользователей системы и выявлять самых активных. Дата-инженеру будет полезно видеть статус профилирования объектов, которые требуют особого внимания. Совокупность этих процессов назвали построением кастомизированной отчётности (рис. 2).
Возможности для подобного анализа практически не ограничены, ведь во внутреннем репозитории Arenadata Catalog хранится вся история данных, накопленных в организации. Архитектура продукта позволяет гибко подойти к построению визуализации, опираясь на принятые на предприятии стандарты и паттерны разработки BI. Чтобы подключить внешний BI, требуются совсем небольшие усилия дата-инженера. Витрина строится на основе служебных таблиц баз данных, а для построения и обновления данных может использоваться любой удобный способ, например базовый sql, процедуры, функции, airflow или nifi либо иные способы в соответствии с наличием той или иной экспертизы в организации.
На демостенде (рис. 2) мы создали витрину в соседней схеме той же базы данных. В промышленных же реализациях рекомендуем выносить витрину в отдельный инстанс СУБД. Это позволит снизить нагрузку на внутреннюю базу ADC и создать дополнительные возможности для масштабирования. Подобную интеграцию под силу выполнить дата-инженеру или BI-аналитику самостоятельно, специалисты DataCatalog готовы оказать при этом необходимую помощь и консультации.
Полезным сценарием выглядит каталогизация и описание в ADC созданных кастомных диаграмм (рис. 3).
Каталог данных Arenadata Catalog поддерживает широкий спектр BI. Среди них иностранные, такие как Tableau, FineBI или Qlik. Открытые, например Superset, или российские Luxms BI, Visiology, «Форсайт». На момент публикации статьи ADC поддерживает более 15 популярных систем (рис. 4), и этот список регулярно расширяется, что позволяет пользователю выбрать любой из инструментов визуализации или сразу несколько.
Таким образом, предложенный способ разработки и визуализации кастомизированной отчётности — наиболее простой и удобный вариант комплексного анализа показателей Data Governance для средних и крупных организаций.
Эта статья носит ознакомительный характер. Наиболее полную актуальную информацию по установке, настройке и техническим возможностям наших продуктов можно найти на сайте с документацией: https://docs.arenadata.io.