Переход к единой среде
До запуска DRP аналитическая работа в банке велась в отдельных «песочницах». Переход к централизованной архитектуре был связан и с курсом на импортозамещение. Банку требовалась платформа, которая могла бы быстро работать с большими массивами данных, выдерживать высокую нагрузку и при этом обеспечивать независимость от зарубежных СУБД. В результате в качестве технологического ядра была выбрана Arenadata DB, а координацию проекта взял на себя департамент больших данных РСХБ при участии ИТ-кластера «РСХБ.Цифра».
Как устроена платформа
DRP стала единой средой для аналитиков, где в одном кластере собраны данные из корпоративного хранилища, озера данных, пользовательских песочниц и внешних источников. На платформе работают более 300 аналитиков, а ежедневно обновляется более 5000 объектов из корпоративного хранилища данных, озера данных и внешних систем. Общий объем данных в ежедневной обработке превышает 50 терабайт.
Ядром платформы выступает кластер Arenadata DB объёмом 100 Тбайт с возможностью дальнейшего расширения. Оркестрация загрузки реализована на Airflow, для интеграции с внешними источниками используется PXF, для BI-сценариев задействована отечественная визуализационная платформа, а для ML-задач — собственная ИИ-платформа RAISA. Такой стек позволил собрать в одном решении загрузку, аналитику, визуализацию, документацию и работу с моделями.
Скорость, прозрачность, self-service
Одна из ключевых задач проекта заключалась в создании управляемого self-service для бизнес-подразделений. Теперь аналитики могут работать с витринами, строить ad-hoc-запросы, формировать дашборды и загружать данные в своё пространство по единому регламенту. Для этого в системе реализована ролевая модель доступа, а также механизм квотирования и стандартные шаблоны подключения новых объектов.
Отдельное значение имеет зеркало корпоративного хранилища данных. Оно позволяет бизнесу использовать уже готовые витрины для проверки гипотез и подготовки отчётности без дополнительной нагрузки на основное хранилище. Это снижает эксплуатационную нагрузку, ускоряет получение результата и даёт подразделениям больше самостоятельности.
Благодаря кластерной архитектуре Arenadata DB ускорились ETL-процессы, выросла отказоустойчивость и упростилась эксплуатация платформы. Все процессы загрузки и сопровождения теперь поддерживаются без участия разработчиков, что особенно важно для масштабной банковской аналитики.
Цифры проекта
Проект по созданию DRP реализовывался с сентября 2024 года по сентябрь 2025 года, его трудоемкость составила более 2 тысяч человеко-часов. В платформу перенесли порядка 10 тысяч таблиц из разных источников, приведя их к единому способу загрузки и описания. Более 5 тысяч объектов из пяти систем-источников обновляются чуть больше чем за полтора часа, что для банковской аналитической среды считается высоким показателем.
Сегодня на платформе работает около 600 пользователей, однако в банке ожидают дальнейший рост числа участников и интеграций. Все загруженные объекты описываются и актуализируются в Базе знаний и Бизнес-глоссарии, что обеспечивает единый подход к документированию и упрощает вход для новых команд.
«Аналитическая экосистема РСХБ развивается по мере роста бизнес-задач и охватывает различные направления. Ввиду этого появилась потребность объединить отдельные системы анализа и обработки данных. Также переходу на российский стек способствовали необходимость импортозамещения и растущие объёмы и требования к скорости обработки данных».
«Мы смогли создать отказоустойчивую, масштабируемую систему, которая позволяет нашим бизнес-подразделениям работать более эффективно. Ключевая актуальность проекта заключается в консолидации разрозненных данных, повышении скорости и качества аналитики. Бизнес-подразделения смогут готовить оперативную отчётность для принятия управленческих решений».
«Проект РСХБ показывает, как единая аналитическая платформа на базе Arenadata DB помогает крупному банку консолидировать разрозненные данные, ускорять загрузку и выстраивать управляемую self-service-среду для аналитиков. Для нас важно, что решение не только отвечает требованиям импортонезависимости, но и даёт банку устойчивую технологическую основу для дальнейшего развития аналитики и новых сценариев работы с данными».
Почему проект важен для банка
Создание DRP стало для Россельхозбанка шагом к единой аналитической архитектуре, где данные хранятся, описываются и используются по общим правилам. Вместо множества отдельных песочниц банк получил одну управляемую платформу, в которой исключены дублирование данных, разрозненные политики доступа и зависимость от устаревших решений.
Проект также заложил основу для дальнейшей интеграции DRP с операционным слоем корпоративного хранилища данных и расширения сценариев работы с неструктурированными данными. По мере роста источников и объектов банк планирует масштабировать кластер Arenadata DB до объёма свыше 100 Тбайт, сохраняя при этом единые стандарты загрузки, описания и доступа.
Источник: TAdviser