Хранилище данных «Ростелекома» на базе массивно-параллельной СУБД Arenadata DB

«Ростелеком»

Компания «Ростелеком» в 2019 году официально ввела в промышленную эксплуатацию Единую технологическую платформу, включающую хранилище данных, построенное с использованием массивно-параллельной СУБД Arenadata DB.

Хранилище данных «Ростелекома» на базе Arenadata DB

ПАО «Ростелеком» — крупнейший в России провайдер цифровых услуг и решений, который присутствует во всех сегментах рынка и охватывает миллионы домохозяйств, государственных и частных организаций. «Ростелеком» занимает лидирующие позиции на рынке услуг высокоскоростного доступа в интернет и платного телевидения. Услугами ШПД пользуется свыше 13,2 млн абонентов, платного ТВ — 10,4 млн пользователей, из них свыше 5,6 млн подключено к услуге «Интерактивное ТВ». Выручка группы компаний за 2019 год составила 337,4 млрд руб., OIBDA достигла 106,5 млрд руб. (31,6% от выручки), чистая прибыль — 16,5 млрд руб.

Проект завершился в 2021 году.

Цели «Ростелекома»

В начале 2018 года компания «Ростелеком» приступила к исполнению обновлённой стратегии развития, рассчитанной до конца 2022 года. Она сформулировала основные миссии и ключевые направления работы. Согласно стратегии, за этот период «Ростелеком» должен стать цифровым партнёром для населения, бизнеса и государства. Приоритетные направления для компании учли индустриальные тренды (экосистемы, платформенные бизнес-модели), потребительское поведение (персонализация, визуальная коммуникация, приоритет мобильных устройств, геймификация), технологические тренды (IoT, AI, эра данных). Среди ключевых приоритетов «Ростелекома»: развитие экосистем продуктов, услуг и клиентского сервиса; модернизация технологической платформы; повышение эффективности.

В рамках развития контура управления данными, как одного из элементов реализации стратегии, «Ростелеком» определил следующие цели:

Объединение федеральных хранилищ данных на базе единой отказоустойчивой масштабируемой платформы, как единого источника достоверной, интерпретируемой, качественной, актуальной информации по оптимальной стоимости;
Исполнение директивы правительства РФ по импортозамещению со смещением баланса в сторону отечественного ПО, собственных разработок и open-source;
Сокращение ТСО/TCC систем отчётности и аналитики;
Развитие data-driven культуры, обеспечение демократизации и монетизации данных;
Уменьшение T2M практиками прототипирования, развития и внедрения self-service BI/ETL.

Arenadata приняла участие в реализации проекта «Ростелекома» «Создание единой технологической платформы». В рамках сотрудничества Arenadata провела совместно с «Ростелекомом» технический аудит четвёртой версии Greenplum, на которой в тот момент работал заказчик. По его результатам был составлен ряд рекомендаций, в том числе сформирован план миграции на Arenadata DB. С их учётом «Ростелеком» приступил к созданию централизованного хранилища данных, которое было построено с использованием Arenadata DB. Именно на массивно-параллельной СУБД от Arenadata строятся отчётность и аналитика по миллионам клиентов оператора.

Сложности на пути реализации

Общее количество информационных систем «Ростелекома» превышает несколько сотен. Ключевые системы источники для хранилища данных, даже относящиеся к одному классу систем, представлены разными вендорами. На момент старта проекта в компании существовал целый ряд разрозненных хранилищ данных и систем отчётности федерального и регионального уровней, развиваемых и сопровождаемых хаотичным образом отдельными внутренними и внешними командами. Хранилища данных отличаются стеком технологий, подходами работы с системами источниками. Некоторые из них представляют собой сложные программные комплексы, и работают с большим количество источников.

Результаты внедрения

Единая технологическая платформа «Ростелекома» официально введена в промышленную эксплуатацию в 2019 году и является ключевым элементом контура управления данными в компании. Сегодня платформа используется сотрудниками во всех регионах России.

Переход на продукты, включённые в реестр отечественного ПО, open-source решения, и продукты собственной разработки позволил «Ростелекому» сократить требуемый объём закупки лицензий проприетарных продуктов в несколько раз, что уменьшило бюджет проекта на миллионы долларов и позволило нивелировать корпоративные и санкционные риски.

Сергей Носов

Директор по управлению данными, ПАО Ростелеком

«Можно выделить несколько ключевых достижений, которые были объединены в рамках одного проекта — создания и запуска так называемого Data-офиса. Во-первых, это миграция нескольких федеральных хранилищ в целевое хранилище данных, построенное преимущественно на открытых решениях: Hadoop, Arenadata DB, Airflow, Ni-Fi, Kafka. Посредством перевода централизованного хранилища на стек open-source удалось сэкономить средства, сравнимые с годовым бюджетом построения хранилищ данных в крупных компаниях. С учётом требований, предписывающих компаниям с государственным участием переходить на отечественное ПО, это достижение особенно ценно.»

Получите бесплатную консультацию по организации корпоративной платформы данных