«Газпром нефть»

ПАО «Газпром нефть» построило озеро данных на Arenadata Hadoop

Дирекция региональных продаж ПАО «Газпром нефть» в сотрудничестве с Arenadata реализовала проект по созданию современного «озера данных», важнейшей компоненты корпоративной платформы управления данными.

Озеро данных для дирекции региональных продаж

Дирекция региональных продаж ПАО «Газпром нефть» (ДРП) управляет сбытом моторных топлив компании через собственную розничную сеть из более 1,8 тысяч АЗС с более 800 магазинами и кафе, а также через оптовые каналы и сервисы для коммерческих транспортных парков. Подразделение также отвечает за товаропроводящую сеть, которая включает нефтебазы, лаборатории и собственный парк бензовозов. В периметре компаний под управлением дирекцией работает более 20 тысяч сотрудников, и по численности персонала это примерно треть всей группы «Газпром нефть».

Реализация проекта

Дирекция региональных продаж ПАО «Газпром нефть» в конце 2017 года инициировала проект «Умное озеро данных» по внедрению комплексной платформы обработки и хранения данных с интегрированными компонентами Data Governance.

Одной из предпосылок проекта выступила потребность в надёжном хранилище «сырых» и первично интегрированных данных. Вся поступающая из внутренних и внешних источников информация содержалась на слоях данных централизованной аналитической инфраструктуры в закрытом формате, что препятствовало эффективной работе с ней: например, передавать данные вовне можно было лишь в виде файловых пакетов или специально разработанных витрин. Другой предпосылкой создания «умного озера данных» стало значительное количество запускаемых на волне цифровизации инициатив и проектов, связанных с обработкой неструктурированных данных и больших массивов данных.
После апробации различных решений для первичной интеграции и хранения сырых данных (data lake), выбор пал на Arenadata Hadoop — отечественный дистрибутив, ни в чём не уступающий мировым аналогам, а в ряде задач и превосходящий их.
В 2019 году Дирекция региональных продаж ПАО «Газпром нефть» интегрировала озеро данных на платформе Arenadata Hadoop в состав комплексной платформы управления данными. Проект создания платформы («Умное озеро данных») реализовал уникальный функционал и получил награду «Проект года» Global CIO в номинации «Аналитические решения и Big Data» за 2019 год.
Иван Черницын
Руководитель Центра аналитических решений Дирекции региональных продаж ПАО «Газпром нефть», владелец платформы управления данными Дирекции

«Решение на основе Arenadata Hadoop стало важной частью универсальной централизованной среды для Big Data и продвинутой аналитики. В планах постепенно интегрировать в эту среду все связанные с интеграцией данных и аналитикой проекты и инициативы. На текущий момент около всех 50% аналитических проектов и инициатив Дирекции уже реализуется в контуре «умного озера данных», план на 2020 год — охватить не менее 75%»

Задачи «умного озера данных»

«Умное озеро данных» развёрнуто в Центре обработки данных «Газпром нефти» в Санкт-Петербурге. Его пользователями являются аналитики подразделений Дирекции региональных продаж и дочерних обществ. Кроме этого, созданное решение является поставщиком данных для различных систем в контуре компании и в целевом виде — для внешних партнёров.

Первые задачи «умного озера данных» включили в себя обработку транзакций сети АЗС «Газпром нефть», расчёт сегментов для клиентской аналитики, анализ обратной связи от клиентов. Кроме этого, в платформу были интегрированы данные значительного числа внешних источников, в частности, Санкт-Петербургской товарно-сырьевой биржи, сайтов Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнёров и сведения о конкурентах, данные мобильных приложений.

Особенностью проекта стали уникальные для Big Data ландшафта решения в области безопасности. На уровне всех компонент, ландшафтов и ролевой модели были обеспечены требования к защите информации по стандартам группы «Газпром», решение успешно сертифицировано для работы с коммерческой тайной и персональными данными.

В частности, были созданы отдельные группы доступа, например, для разработчиков, аналитиков, администраторов. Между их правами и полномочиями зафиксирована тонкая грань, а ролевые модели построены так, чтобы пользователи видели лишь требуемые данные. Также интеграция между компонентами решения и смежными системами выполнена с соблюдением корпоративной политики информационной безопасности.


Александр Клещенко
Руководитель проектов дирекции региональных продаж ПАO «Газпром нефть»

«Взаимодействие с командой Arenadata было весьма эффективным. Специалисты компании помогали с вопросами внедрения и безопасности, предлагали собственные решения и оперативно выпускали релизы с учётом специфических требований заказчика», — рассказал Александр Клещенко, руководитель проектов дирекции региональных продаж ПАO «Газпром нефть».



Команда «ГАЗПРОМ НЕФТЬ» с наградой в номинации «Лучший проект в области Big Data 2019»

Спасибо, что написали нам

Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

Получите бесплатную консультацию по организации корпоративной платформы данных

ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.