Зрелость данных — это не просто множество нужных технологий и инструментов, а комплексный показатель, отражающий зрелость процессов, качество данных, культуру компании и интеграцию аналитики в принятие решений. Путь к высокой зрелости данных не устлан розами – требуются инвестиции, изменения в процессах и мышлении, а также внедрение современных технологий.
Способность эффективно управлять данными в условиях растущей конкуренции в финансовом секторе – один из ключевых факторов успеха компании. Регуляторы усиливают требования к прозрачности и отчётности, клиенты ожидают персонализированных услуг, а рынок диктует необходимость быстрого реагирования на изменения. В этой среде критически важное значение приобретает зрелость данных — степень, в которой организация способна эффективно управлять, анализировать и использовать данные для поддержки своих бизнес-целей. Это не просто наличие нужных технологий и инструментов, а комплексный показатель, отражающий зрелость процессов, качество данных, вовлеченность сотрудников и интеграцию аналитики в принятие решений. Однако путь к высокой зрелости данных не всегда прост: он требует инвестиций, изменений в процессах и мышлении, а также внедрения современных технологий. Как банкам оценить и повысить зрелость данных, какие технологии использовать и какие кейсы могут служить ориентиром?
Рис. 1. Критерии зрелости данных
Зрелость данных определяется следующими критериями (рис. 1):
- доступность — насколько легко сотрудники могут получить нужные сведения;
- качество — точность, актуальность и полнота;
- интеграция — связанность корпоративных информационных систем (CRM, ERP, транзакционные базы и пр.);
- использование данных в принятии решений — применяются ли аналитические инструменты на всех уровнях управления.
Высокий уровень зрелости означает, что данные становятся не побочным продуктом операционной деятельности компании, а её стратегическим активом. На практике это означает автоматизацию принятия решений, высокую точность прогнозирования, способность к адаптации и устойчивость к внешним вызовам. Лидеры в области зрелости данных добиваются в 2,5 раза лучших бизнес-результатов.
В сфере финансов ключевую роль играет государственное регулирование – чем более зрелы данные в банке или страховой компании, тем больше шансов, что они будут надёжно контролироваться и тщательно защищаться. В 2024 году Центральный банк России создал рабочую группу по развитию систем управления данными участников финансового рынка. В её рамках сформированы две подгруппы для разработки методики оценки зрелости систем и выработки методических рекомендаций для развития таких систем. Участникам рынка предлагается регулярно проводить самооценку, что поможет улучшить качество данных, оптимизировать информационные процессы и быстрее адаптироваться к изменениям в регулировании. Основываясь на результатах самооценки, компании смогут применять рекомендации рабочей группы для повышения эффективности своих операций и технологий.
Регулирование не единственный фактор, определяющий важность зрелости данных. Финансовые организации с высоким уровнем зрелости данных получают доступ к полному спектру возможностей, которые открывают перед ними аналитика и искусственный интеллект. Это позволяет не только оптимизировать процесс принятия решений, но и выстраивать более тесное взаимодействие с бизнес-заказчиками и укреплять позиции на рынке. Яркий пример — страховая компания, достигшая высокой зрелости данных. Благодаря использованию ИИ она может точнее оценивать индивидуальные риски клиентов, предлагая им персонализированные страховые продукты. Это не только повышает удовлетворённость клиентов, но и создаёт преимущества для самого бизнеса финансовой организации.
Преимущества высокой зрелости данных в банковской сфере:
- персонализация и улучшение клиентского опыта. Банки с высоким уровнем зрелости данных способны лучше и глубже понимать потребности клиентов и предлагать им индивидуальные продукты и сервисы. Это способствует росту лояльности, увеличению среднего чека и снижению оттока;
- оптимизация внутренних процессов. Автоматизация, основанная на анализе данных, позволяет сократить издержки, повысить точность операций и снизить риски ошибок, что особенно актуально в рутинных задачах и обслуживании клиентов;
- усиление риск-менеджмента и соответствие требованиям регуляторов. Высокое качество данных помогает повысить точность моделей кредитного и операционного риска, улучшить отчетность и упростить соблюдение регуляторных норм;
- быстрая адаптация к рыночным изменениям. Интеграция данных с аналитикой и прогнозированием позволяет банкам быстрее реагировать на изменения макроэкономической ситуации, поведения клиентов и действий конкурентов.
Этапы зрелости
Существует несколько моделей, описания уровней зрелости данных в компании. Каждый уровень определяется сочетанием стратегических, операционных и культурных практик, основанных на данных. На рис. 2 приведены уровни зрелости в соответствии с моделью CMMI (Capability Maturity Model Integration).
Рис. 2. Уровни зрелости в управлении данными по модели CMMI. Источник
На начальном уровне (Ad hoc) данные разрознены и нет единой системы управления ими. Здесь отсутствуют стандарты сбора и хранения, а аналитика проводится эпизодически, вручную (например, в Excel). Решения на данном уровне принимаются интуитивно, а не на основе данных. Как следствие, возникает высокий риск ошибок и дублирование данных, а аналитику невозможность масштабировать.
На управляемом уровне (Managed) появляются базовые процессы сбора и хранения данных, начинают внедряться инструменты (хранилища, ETL, системы бизнес-аналитики). Здесь уже формируются метрики и KPI, но аналитика остаётся реактивной. Как следствие, данные по-прежнему изолированы в разных доменах, а их качество не стабильно.
Уровень определённый (Defined) – используется единая стратегия управления данными (Data Governance), данные централизованы («озера», облачные хранилища). Здесь уже внедрены автоматизированные процессы очистки и трансформации, а также появляется прогнозная аналитика (ML, простые модели ИИ). Как следствие, снижается дублирование и повышается качество данных, которые начинают использоваться для оптимизации процессов.
Количественно управляемый (Quantitatively Managed) уровень характеризуется процессами управления данными, основанными на KPI, которые связаны с показателями эффективности бизнеса. Здесь имеется сквозная аналитика на всех уровнях компании, а для прогнозирования и автоматизации активно применяются решении ИИ. Данные — измеряемый ключевой актив для принятия решений и внедрены механизмы мониторинга их качества. Как следствие, возрастает скорость обработки запросов, а у компании появляется возможность оперативно предлагать персонализированные продукты и сервисы.
Уровень оптимизируемый (Optimizing) – это непрерывное улучшение и автоматизация процессов на основе данных, ИИ и прогнозная аналитика, в том числе в реальном времени, а данные интегрированы в бизнес-процессы на всех уровнях управления. В компании внедрена культура data-driven – сотрудники всех отделов работают с достоверными актуальными данными. В итоге компания работает максимально эффективно и имеет значительные конкурентные преимущества.
Проблемы на пути к зрелости данных
Достижение зрелости данных сопряжено с рядом сложностей, среди которых ключевой остаётся вопрос обеспечения качества – для полноценной работы с данными они должны быть точными, полными, согласованными и актуальными. Однако многие компании сталкиваются с нехваткой данных, ошибками, устаревшими или нестандартизированными сведениями, что снижает надёжность аналитики и ведёт к ошибочным решениям. Не менее важна доступность данных — они должны быть в нужном объёме и в нужное время у соответствующих специалистов. Этому обычно мешают разрозненные хранилища, фрагментация данных и проблемы конфиденциальности, ограничивающие потенциальную ценность данных.
Серьезной преградой становится интеграция унаследованных систем, особенно в банковской сфере, где устаревшая ИТ-инфраструктура затрудняет объединение данных с современными решениями, снижая их целостность и ценность. Добавляет сложностей и дефицит квалифицированных кадров – нехватка специалистов по данным, особенно имеющих опыт в финансах, осложняет построение эффективных процессов.
Кроме того, рост объёма и значимости данных увеличивает риски утечек и уязвимости перед кибератаками, поэтому развитие управления данными невозможно без укрепления кибербезопасности. Наконец, регуляторные ограничения, особенно в вопросах хранения, обработки и передачи данных, создают дополнительные барьеры, осложняя внедрение облачных решений и гибких подходов к управлению информацией.
Опыт российских банков
По результатам опроса, проведённого на конференции ArenaDAY 2025, финансовые организации имеют разный уровень зрелости управления данными. Почти 29% опрошенных отметили, что в их организациях налажены основные процессы сбора и хранения информации, но качество данных остаётся непостоянным. Чуть меньшее число респондентов (28%) указали на использование политик управления данными и частичную автоматизацию этих процессов. Ещё 20% участников подтвердили, что в их компаниях ведётся контроль качества данных с отслеживанием конкретных метрик.
«Как участники рабочей группы Банка России, мы активно содействовали разработке методики оценки зрелости систем управления данными участников финансового рынка, используя собственный опыт создания и эксплуатации внутренних нормативов оценки развития этих систем. Взяв на вооружение новую методологию, мы актуализировали самооценку развития с учётом практик, привнесённых в методику ведущими представителями финансового рынка. Это позволило не только получить максимально беспристрастный взгляд на развитие собственной системы, но и выявить направления улучшений, отразив их в комплексе мероприятий по повышению эффективности процессов управления данными. Отдельный фокус был сделан на практиках качества данных, для развития которых мы привлекаем коллег из финансового блока банка, блока рисков и бизнес-линий, видящих в высоком уровне качества данных практическую бизнес-ценность и помогающих нам прицельно формировать контрольные метрики. Амбициозной целью является расширение доменов данных, полностью контролируемых централизованной системой с момента их рождения до стадии архивирования, в том числе с помощью прикладных инструментов автоматизации».
«На текущем этапе мы достигли операционного уровня зрелости в управлении данными: отслеживаем потоки данных, их потребление и распределение. В банке выстроены прозрачные процессы контроля качества и закрепления ответственности за данными. Наиболее качественные данные представлены в департаментах, которые отчитываются перед регуляторами. Наиболее достоверная информация сосредоточена в подразделениях, осуществляющих регуляторную отчётность. Сейчас мы фокусируемся на улучшении качества данных в перспективных направлениях, таких как промо-кампании и маркетинговые исследования, поскольку видим в этом свои точки роста для получения экономического эффекта».
«Мы проводим ежегодную оценку уровня зрелости процессов управления данными, и на текущий год он находится на отметке “выше среднего“ по пятибалльной шкале. С этого года будем использовать рекомендуемую Банком России методику оценки зрелости системы управления данными. Что касается инструментов, в каждом из девяти направлений практик управления данными используется свой набор технологических решений. Для управления бизнес-метаданными мы используем Arenadata Catalog в качестве бизнес-глоссария, для автоматизации контроля и мониторинга качества данных — собственную разработку на базе Apache Airflow, в качестве BI-приложений: PIX BI, “Форсайт“ и Superset, в части технологий DWH — стек Arenadata».
«В “Альфа-Банке“ мы используем модель зрелости, основанную на пяти уровнях, ориентируемся на рекомендации Банка России и общие “best practices“ рынка. Мы поступательно двигаемся к более эффективной работе с данными. В банке сформирована доменная модель: бизнес-подразделения объединены в 20+ предметных областей, в каждой из которых определены роли (локальные CDO, дата-офицеры и т.п.), размечен ландшафт данных в каталоге и контролируется доля объектов, соответствующих стандартам Data Governance. Следующий этап — переход от процессов, управляемых вручную, к встроенному управлению данными, когда требования и правила задаются и отслеживаются прямо в производственном цикле. Для поддержания уровня зрелости работы с данными мы в меньшей степени используем готовые коробочные решения и развиваем набор собственных инструментов на базе Open Source. Ключевой элемент — каталог данных с более чем 1 млн объектов, который поддерживает карту данных (lineage), профилирование, работу с обращениями, оценку влияния. Каталог интегрирован с платформой для создания и мониторинга контроля качества данных. Все это реализовано в рамках подхода Data Governance by Design, когда требования к данным встраиваются в процессы по умолчанию и сопровождают данные на всем их жизненном цикле».
Повышение уровня зрелости данных в компании
Движение по пути повышения уровня зрелости компании предполагает шесть шагов.
- Диагностика текущего уровня. Понимание уровня зрелости данных в организации — это первый шаг к компании, ориентированной на данные. Зная, на каком этапе работы с данными находится компания, руководство может лучше планировать инвестиции в технологии, наем сотрудников и их обучение.
- Определение стратегии. Важно иметь чёткое видение того, как данные будут использованы для достижения бизнес-целей организации: определите ключевые источники данных, заинтересованные стороны, варианты использования и метрики, согласуйте инициативы в области данных с ценностями, целями и приоритетами компании.
- Инвестирование в технологии. Важнейший показатель зрелости данных — умение эффективно применять специализированные инструменты и технологии для работы с данными на всех этапах их жизненного цикла: от сбора до извлечения из них ценной информации. Современные решения, такие как дата-платформы, инструменты аналитики и системы на основе искусственного интеллекта, расширяют возможности компаний в этой области.
- Обучение команды. Подготовленные специалисты позволяют не только эффективно использовать современные решения, но и избегать дорогостоящих ошибок при работе с информацией. Когда сотрудники всех уровней понимают принципы сбора, обработки и анализа данных, это напрямую влияет на качество данных. В конечном счёте именно системное обучение команды превращает данные из пассивного ресурса в стратегический актив компании, без которого даже самые передовые технологии остаются нереализованным потенциалом, а высокая зрелость данных становится недостижимой.
- Формирование культуры данных. Зрелость данных также зависит от культуры компании – сотрудники ценят, доверяют и используют данные в качестве стратегического актива. Для этого работа с данными должна стать частью корпоративного ДНК, а это требует лидерства со стороны топ-менеджмента, чётких KPI и вовлеченности всех подразделений. Руководители должны понимать важность данных и выделять ресурсы для инициатив, которые, вероятно, не принесут быстрого результата, но будут иметь решающее значение для долгосрочного успеха.
- Оценка прогресса. Качественные данные должны приносить результаты, заметные и понятные всем заинтересованным сторонам. Однако зрелость данных быстро не достигается – это длительная трансформация, требующая согласованной стратегии, инвестиций и постоянного мониторинга. Для этого следует регулярно измерять и оптимизировать влияние данных на бизнес-процессы.
Как следить за данными на практике?
Выделим основные шаги, которые необходимо пройти на пути повышения зрелости данных и посмотрим, какие инструменты и технологии могут при этом быть полезны.
Поиск и приоритизация данных. Управление данными — ресурсоёмкий процесс, поэтому важно выделить сущности и их составные элементы, оказывающие существенное влияние на ключевые бизнес-процессы и сферы деятельности банка. Обычно это данные, которые связаны с исполнением требований регуляторов, построением отчётности и эффективностью операционной деятельности. При выстраивании приоритизации данных важную роль играет каталог, в котором можно создать единую трактовку терминов, дата-сущностей, показателей и, помимо этого, связать концептуальное описание объектов с их физической реализацией в информационных системах. Иногда в дата-каталоге проводится предварительная идентификация данных из источников, она даёт понимание, какие данные имеются в организации, каким качеством они обладают. Важно, чтобы сбор этой информации был быстрым, а поддержание базы знаний происходило автоматически без дополнительной дорогостоящей разработки.
Отдельно стоит выделить MDM-системы, в которых ведутся ключевые данные компании, настроены процессы их консолидации, очистки, нормализации, дедупликации для получения и последующего распространения эталонных экземпляров.
Одновременное использование каталога данных и MDM-системы приводит к синергии за счёт того, что каталог позволяет исследовать источники мастер-данных, контролировать качество в них, строить цепочки Data Lineage от источников до потребителей, управлять изменениями метаданных. Система MDM, в свою очередь, централизует ведение справочников, которые может потреблять каталог данных.
Организационно-функциональная структура управления данными. Для обеспечения эффективного управления данными нужно понимать, кто отвечает за разные сферы их жизненного цикла. Важной задачей становится построение и поддержка организационно-функциональной структуры управления данными, в которой сочетаются законодательная, исполнительная и контролирующая функции по отношению к объектам данных. В этой связи инструментарий должен поддерживать создание иерархических ролевых моделей и гибкую систему настройки полномочий доступа к данным и функциям системы.
Важной функциональностью является возможность создания процессов согласования изменений объектов данных и подписки на эти изменения. Это позволяет автоматизировать и упорядочить взаимодействие участников процесса управления данными. Эту функциональность обычно также реализует каталог данных.
Управление качеством данных. Выстраивание функции управления качеством данных – краеугольный аспект для банков, поскольку качество данных оказывает непосредственное влияние на выполнение требований регуляторов, финансовые показатели и эффективность операционной деятельности. Для работы с DQ важна приоритизация данных, а также эффективная структура управления. В арсенале инструментария DQ должен содержаться простой, удобный и одновременно функциональный редактор проверок с возможностью их классификации по показателям качества и другим необходимым критериям. Вычислительное ядро DQ должно обеспечивать регулярный расчет SLA на требуемых объемах данных за необходимый, а следовательно, должно поддерживать гибкое масштабирование. ETL-инструмент необходим для формирования нужных витрин, а BI-платформа — для создания отчётов качества данных под требования заказчика.
Обеспечение безопасности данных. Управление данными для обеспечения требований информационной безопасности должно начинаться с идентификации и правильной классификации (разметки) объектов данных и их элементов по значимым критериям безопасности: классификация по уровням чувствительности данных, по принадлежности к персональным данным и пр. Также важно типизировать инциденты информационной безопасности, назначить ответственных за каждый тип инцидента и установить параметры реакции. Речь идёт о функциональности Data Governance применительно к области информационной безопасности, которую также может закрыть каталог данных. При этом данная информация может быть доступна специализированным системам, осуществляющим мониторинг, разбор инцидентов, контроль доступа, и может значительно повысить эффективность их работы, снизив при этом риски информационной безопасности для организации.
Обеспечение зрелости данных — это не просто техническая задача, а стратегический вектор развития банков. Структурированный анализ зрелости данных поможет выявить слабые места, скорректировать стратегию и определить приоритеты инвестиций, чтобы полностью раскрыть потенциал данных. Компании, которые начнут системную трансформацию в этой области сейчас, завтра получат значительное конкурентное преимущество.
Источник: OSP