После изменения доступности зарубежного ПО СИБУР инициировал переход на отечественные решения. По итогам конкурсной процедуры была выбрана платформа данных Arenadata.
В рамках платформы обрабатываются данные более 100 информационных систем: совокупная нагрузка ADS составляет около 50 тысяч сообщений в секунду по более чем 150 очередям. Наиболее нагруженные очереди обеспечивают передачу до 2500 сообщений в секунду.
На платформе данных СИБУР реализовал целый ряд проектов для бизнеса и производственных активов компании — в том числе near-real-time-передачу и обработку данных АСУТП и IIoT, предиктивную диагностику оборудования, интеграцию и обработку данных НИОКР, интеллектуальное видеонаблюдение, мобильные обходы, контроль качества данных (Data Quality), а также автоматическую передачу данных о влиянии на окружающую среду в государственные реестры.
«При выборе решения мы оценивали зрелость продуктов, функциональные возможности и соответствие нашим требованиям. Платформа Arenadata показала наилучшие результаты по совокупности критериев и была выбрана в качестве основы для дальнейшего развития платформы данных. В рамках эксплуатации мы отмечаем удобство управления доступами и правами в Arenadata Hyperwave с использованием подсистемы безопасности Arenadata Platform Security, использующую механизмы Ranger. Arenadata Streaming обеспечивает надёжную доставку сообщений системы управления производственными процессами от площадок до дальнейшей обработки с задержкой всего до 30 секунд. Также стоит отметить добавление вендором новых сервисов, что позволило нам исследовать и запустить трансформацию нашей платформы данных в Lakehouse».
«СИБУР — одна из наиболее технологичных нефтегазохимических компаний России. Опыт использования компанией продуктов Arenadata наглядно демонстрирует, насколько важна и эффективна для реального сектора работа с данными».
Возможности Arenadata Hyperwave и Arenadata Streaming
Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.
Решаемые задачи:
- хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
- распределённая обработка информации;
- построение озёр данных, Lakehouse и Data Mesh (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
- машинное обучение и искусственный интеллект;
- импортозамещение и разгрузка систем зарубежных вендоров.
На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.
Arenadata Streaming (ADS) — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
***
«СИБУР» — одна из наиболее динамично развивающихся компаний в глобальной нефтехимии, российский лидер по производству полимеров и каучуков. Продукция компании применяется во многих секторах экономики по всему миру: в строительстве, пищевой промышленности, медицине и фармацевтике, сельском хозяйстве, автомобилестроении и других.