Роль каталога данных
Каталог данных — это программное обеспечение, которое можно представить как централизованную ИТ-платформу. Он даёт возможность улучшить качество данных, минимизировать риски ошибочного использования информации и обеспечить соответствие требованиям регуляторов. Каталог не только описывает источники данных, но и обеспечивает взаимодействие между сотрудниками различных подразделений организации, создаёт среду, которая связывает технические решения, такие как базы данных, ETL-процессы, BI-дашборды, с потребностями бизнеса. Каталог данных позволяет единообразно описать все активы данных2 предприятия. Это, в свою очередь, способствует более эффективной организации процессов и минимизации рисков, возникающих при использовании недостоверных или неполных данных.Взаимосвязь бизнес-глоссария и качества данных
Ключевой аспект работы с данными — обеспечение их высокого качества. Именно привязка качества данных к бизнес-процессам, в которых они используются, позволяет добиться оптимальных результатов. Необходимо, чтобы информация не только соответствовала техническим стандартам, но и полностью отвечала потребностям компании. Контроль над качеством осуществляется через различные проверки, которые, в свою очередь, должны быть точно описаны в бизнес-глоссарии, входящем в состав каталога данных. Этот подход не только повышает эффективность использования данных, но и способствует целенаправленному развитию бизнес-процессов, обеспечивая устойчивый рост организации.Демократизация данных и совместная работа
Современные инструменты каталогов данных не только обеспечивают хранение и описание данных, но и поддерживают совместную работу различных специалистов. Это позволяет сократить время от момента появления бизнес-требований до их реализации в виде готового дата-продукта3, например в форме отчёта или дашборда. Совместная работа инженеров данных, архитекторов и бизнес-пользователей позволяет ускорить процессы и обеспечить прозрачность данных для всех участников. Внедрение каталога данных — первый шаг в перспективном направлении self-service data4.В этом контексте показателен пример финансовой группы БКС. На фоне значительного роста клиентской базы у компании возникла потребность в повышении доступности данных для различных бизнес-процессов. Для бизнеса стала актуальна систематизация накопленных данных, а также их эффективное использование для увеличения прибыли. Внедрение каталога данных помогло БКС выйти на новый уровень цифровой зрелости и более чем в пять раз сократить время поиска и поставки данных. Каталог наглядно отражает модель данных, которая применяется в информационных системах БКС, обеспечивает построение data lineage5, а также назначение ответственных за активы.
Гибкость каталогов данных
Одна из ключевых характеристик современных каталогов данных — это их гибкость и широкая функциональность. Например, в бизнес-глоссарии Банка ВТБ содержится более 37 тысяч бизнес-терминов, с которыми работают 50 тысяч сотрудников банка — потребителей данных. Каталог данных настроен на взаимодействие более чем с 10 информационными системами банка. В каталоге ведётся реестр проверок качества информации и реестр контрактов на поставку данных.В бизнес-глоссарии могут описываться не только термины, но и справочники информационных систем, витрины, а также показатели, KPI и атрибуты. Это позволяет адаптировать каталог данных под нужды каждой конкретной организации, будь то зрелый бизнес или компания, только начинающая планомерно работать с данными.
Интеграция с внешними системами
Каталоги данных не существуют в вакууме. Они интегрируются с различными инструментами и информационными системами. Это позволяет предоставлять пользователям целостный взгляд на данные и их качество. Hoff, мультиформатный ритейлер мебели и товаров для дома, применяет каталог для хранения метаданных из широкого спектра источников: ERP, систем онлайн-продаж, складского учёта и аналитики, чей суммарный объём составляет более 100 терабайт. В рамках проекта удалось собрать все метаданные в одном месте, автоматизировать их сбор, что сокращает время на подготовку аналитических отчётов. Инструмент решает задачи, с которыми предприятие столкнулось на пути перехода к data-driven, — разные цифры в отчётах бизнес-дирекций, дублирование показателей и расчётов, недостаточное понимание взаимосвязей, метрик и процессов и большие затраты времени на поиск данных.Поддержка композитного ландшафта — важнейшая характеристика каталога данных. По словам представителей холдинга Fplus, решающим фактором при выборе подобного инструмента стало наличие коннекторов к ключевым аналитическим системам, таким как MPP-система Greenplum и бизнес-аналитическая платформа Luxms BI, а также возможность подключения настраиваемого коннектора к ERP-системам, включая 1С.
Помимо описанного выше, каталоги данных могут встраиваться в процессы поставки данных, обеспечивая автоматизацию проверки качества данных на всех этапах их обработки.
Перспективы развития каталогов данных
Каталог данных — это мощный инструмент, который не только обеспечивает управление данными, но и значительно повышает их качество. Благодаря интеграции с бизнес-процессами, гибкости в настройках и возможностям для совместной работы каталоги данных становятся незаменимыми для современных организаций. Создание единого и структурированного хранилища информации не только способствует повышению оперативности и достоверности принимаемых бизнес-решений, но и обеспечивает условия для развития инноваций, улучшения взаимодействия между подразделениями компании и поддержки общей стратегии развития. В итоге каталог данных одновременно оптимизирует текущие процессы и служит фундаментом для построения будущего роста организации, обеспечивая более точное прогнозирование и адаптацию к переменчивым рыночным условиям.В будущем планируется расширение функционала каталогов данных за счёт внедрения новых технологий и решений. Например, возможность репликации данных во временные хранилища для параллельного выполнения множества тестов качества или расширение поддержки языков программирования для создания сложных алгоритмов проверки данных. Важным шагом станет интеграция с системами обработки инцидентов для автоматического управления процессами и предотвращения ошибок на ранних стадиях. Перспективное направление — интеграция каталога с платформами искусственного интеллекта, что позволит бизнесу облегчить внедрение и наполнение каталога информацией.
Автор статьи:
Игорь Моисеев
Директор по развитию бизнеса DataCatalog (входит в Группу Arenadata)
Источник: Бизнес-секреты
1. Data-driven, или подход, основанный на данных. Процесс принятия решений, который опирается на анализ данных и выводы, извлечённые из них. В рамках такого подхода организации используют данные, собранные из различных источников, для формирования стратегий, принятия обоснованных решений и управления своими операциями. Вместо того чтобы полагаться только на интуицию или субъективные мнения, data-driven принятие решений включает в себя систематический сбор, интерпретацию и использование данных для руководства действиями и оценки результатов.
2. Активы данных представляют собой информацию и наборы данных, которые обладают ценностью и могут быть использованы для достижения бизнес-целей. Они могут включать данные о клиентах, продуктах, операциях, рынке и других аспектах деятельности организации. Активы данных могут быть структурированными (например, базы данных, таблицы Excel) или неструктурированными (текстовые документы, изображения, видео). Активы данных имеют потенциал стать стратегическим ресурсом для компаний, поскольку они могут использоваться для принятия решений, оптимизации процессов, выявления новых возможностей и предсказания трендов. Отправная точка для эффективного использования активов данных — их организация, управление ими, их анализ и защита с использованием соответствующих методов и инструментов, таких как базы данных, аналитические платформы и каталоги данных.
3. Дата-продукт (data product) — это продукт или сервис, основанный на анализе и использовании данных. Он представляет собой комбинацию данных, алгоритмов обработки или машинного обучения, и пользовательского интерфейса или функциональности, которая позволяет организациям извлекать ценность из своих данных или предоставлять ценные данные своим клиентам.
4. Self-service data — это набор процессов, инструментов и технологий, которые позволяют рядовым бизнес-пользователям получать доступ к данным и самостоятельно анализировать их без вовлечения ИТ-специалистов.
5. Data lineage (или «происхождение данных») — это концепция, описывающая путь данных от их создания до конечного использования. Она показывает, как данные перемещаются и трансформируются через различные системы, процессы и этапы в процессе обработки. Это помогает организациям выявлять проблемы и гарантировать прозрачность и доверие к аналитическим выводам. Data lineage также может быть полезна для соблюдения норм и стандартов, таких как Федеральный Закон «О персональных данных» 152-ФЗ, GDPR или HIPAA, поскольку позволяет отслеживать, как обрабатываются и хранятся персональные данные.