Особенность применения
Построение Data lineage — критически важный аспект управления данными, особенно для организаций, выбирающих MPP СУБД Arenadata DB (ADB) на базе Greenplum в качестве ядра для построения корпоративного хранилища данных. Этот процесс позволяет проследить путь данных от источника до конечного потребителя. Благодаря разбору данных PXF в Arenadata Catalog можно получить более полное представление о том, как данные перемещаются и трансформируются между разными системами, начиная от источника и до конечной витрины или дашборда.В том числе обеспечивается:
- Полная видимость. Можно наглядно видеть, откуда берутся данные и как они используются в разных частях организации. Больше не придётся проводить самостоятельную аналитику для определения и актуализации данных о происхождении. Arenadata Catalog и коннектор к ADB с поддержкой PXF сделают это автоматически.
- Оптимизация процессов. Анализ Data lineage поможет выявить узкие места в системе обработки данных и улучшить производительность. Разбор Data lineage с использованием визуального представления не составит трудностей даже для начинающего дата-инженера.
- Соблюдение нормативов. Построение полного отчёта о Data lineage поможет демонстрировать соблюдение нормативов и стандартов в области данных.
Как это работает
Функционал разбора данных PXF в Arenadata Catalog автоматически отслеживает перемещение данных через PXF и создаёт связи между таблицами источника и назначения. Это позволяет строить детальные графики Data lineage с минимальными усилиями. Необходимо лишь зарегистрировать источники данных ADB в каталоге данных Arenadata Catalog, запустить процесс загрузки происхождения данных и дождаться автоматического построения Data lineage.
Подробнее о фреймворке PXF мы рассказываем на странице Arenadata DB. Чтобы запросить демонстрацию функционала каталога данных Arenadata Catalog с обновлённым коннектором, напишите нам на почту info@arenadata.io.