Итоги клиентской конференции Arenadata

Arenadata: текущие реалии

Вторую клиентскую конференцию компания традиционно посвятила обзору своих новых продуктов, анонсу изменений, которые были сделаны в связи с новыми реалиями, а также актуальной повестке дня — импортозамещению.

Наши спикеры и эксперты ответили на такие вопросы:

• Какие новые продукты появились в составе платформы Arenadata EDP?
• Какой новый функционал появился у продуктов Arenadata и каковы дальнейшие планы по развитию платформы Arenadata EDP?
• Как работает наша служба технической поддержки в новой реальности?
• Как продукты Arenadata могут эффективно замещать западные решения для хранения и обработки данных?
• Как обеспечить непрерывность критически важных процессов в условиях миграции и правильно её спланировать, минимизировав риски проекта?
• На какую государственную поддержку можно рассчитывать при реализации проектов миграции с ПО западных вендоров?

Помимо Arenadata, о новом продукте на базе открытой in-memory СУБД Tarantool рассказал представитель нашего технологического партнёра — компании Picodata.

Тема конференции «Arenadata: какие проверенные решения работают в текущих реалиях» была выбрана не случайно. Вопрос миграции на отечественные продукты уже несколько лет является «головной болью» всех государственных организаций. Теперь же он стал новым условием выживания для многих коммерческих структур в нашей стране. Своим опытом и рекомендациями по миграции с западных СУБД поделились не только эксперты Arenadata, но и представители организаций-заказчиков и партнёров нашей компании.

Сергей Золотарёв, управляющий партнёр и генеральный директор Arenadata, во вступительном слове поделился мнением, что перемены, с которыми мы столкнулись, — это не просто турбулентность. Это кардинальный переворот, который изменил систему взаимоотношений на российском рынке.

Раньше переход с одного вендора на другого был плановой работой: этот вопрос долго обсуждался, проводились пилотные проекты. Но из-за резкого ухода западных вендоров с российского рынка отечественные компании столкнулись с необходимостью заместить зарубежные продукты быстро и в ограниченные сроки.

По его словам, Arenadata оказалась в несколько более выигрышном положении по сравнению с другими российскими вендорами, поскольку наша компания уже давно занималась разработкой программного обеспечения для сбора и хранения данных. При этом в своей работе мы всегда ориентировались на то, чтобы создавать продукты, способные конкурировать с сильнейшими мировыми аналогами. Благодаря этому компания оказалась готова к текущей ситуации: перед нами не стоял вопрос срочной адаптации и оперативных изменений. Хотя, конечно, нагрузка на компанию возросла многократно. Вопрос миграции актуален сегодня как никогда. Как показывает статистика, сформированная экспертами Arenadata, раньше соотношение между новыми инсталляциями и проектами новых хранилищ составляло один к четырём. А теперь запрос рынка на то, чтобы быстро мигрировать с западных продуктов, в разы вырос.

Arenadata сама как компания остро столкнулась с вопросами импортозамещения: нехваткой железа, возросшей нагрузкой на компанию, заменой западных решений, на которых велась в том числе и разработка. Практически за полтора месяца вся корпоративная и производственная инфраструктура была смигрирована.

Смотрите запись выступления Сергея Золотарёва

Новые возможности платформы Arenadata EDP

Александр Ермаков, технический директор Arenadata, рассказал на ArenaDay#2 о новых возможностях нашей платформы Arenadata EDP. Также слушатели его доклада узнали о новом функционале продуктов Arenadata и том, какие меры предпринимает наша компания для того, чтобы их обезопасить.

Смотрите запись выступления Александра Ермакова

Вопросы от участников к Александру Ермакову

– Какие инструменты используются для поиска «закладок» в коде? Есть ли у Arenadata для решения этой задачи какие-то собственные инструменты?

Александр Ермаков: Поиск «закладок» в коде — это больше процесс, чем инструмент, внутри компании сейчас активно выстраиваются такого рода вещи. Для поиска уязвимостей мы активно используем такой проект, как Trivy.

– В чём заключались со стороны Arenadata доработки Open Source проектов: доработки ядра или разработка оболочек для управления этими Open Source решениями? И если выйдет новая версия того же Hadoop, лягут ли корректно обновления в ваш продукт или его придётся дорабатывать?

Александр Ермаков: Каждый из проектов сильно отличается с точки зрения возможностей и необходимости модификации исходного кода — так, например, для Greenplum мы вносим как новую функциональность, так и исправление багов. Большую часть исправлений и модификаций мы отдаём в upstream проекта, это позволяет нам быть уверенными, что с выходами новых версий проекта данные изменения будут переноситься из версии в версию и обеспечивать обратную совместимость. Более того, это упростит наш процесс сборки и тестирования. В части Hadoop мы занимаемся в основном фиксом текущих проблем в коде и делаем это в рамках патчей для нашего CI-процесса. Безусловно, с выходом новых версий эти патчи адаптируются или снимаются, если эта проблема была исправлена в новой версии.

– Как получить документ по миграции на продукты Arenadata?

Александр Ермаков: Напишите нам на почту, и мы вышлем его вам.

– Использует ли Arenadata Prometheus?

Александр Ермаков: На текущий момент Arenadata использует Prometheus как инструмент для мониторинга внутренней инфраструктуры компании, в качестве продуктовой реализации мы используем стек Grafana + Graphite + Carbon.

– Есть ли поддержка интеграции Postgres/GP — ClickHouse?

Александр Ермаков: Да, со стороны ClickHouse/ADQM есть поддержка PostgreSQL Engine и Materialized PostgreSQL. Это даёт возможность получать данные напрямую из PostgreSQL, более того, есть обратная интеграция, когда ClickHouse/ADQM может «притворяться» инстансом PostgreSQL по соответствующему протоколу.

– Есть ли у Arenadata планы по Data Governance, BI-решениям, Data quality?

Александр Ермаков: Вопрос актуальный, поскольку Arenadata уже стала не просто компанией. Мы входим в «АДС-холдинг», в рамках которого появляются несколько новых инициатив. Одна из них — создание Data Governance платформы. Пока мы не раскрываем технические детали, но это будут Open Source проекты с доработкой под специфику нашей платформы, российских ИТ-ландшафта и ИТ-систем. Аналогично обстоит и ситуация с Data quality: в холдинге появляется компания, которая в том числе базируется на популярном российском решении (Human factor). В перспективе мы будем совместно его тиражировать и использовать как в рамках платформы, так и у наших заказчиков. Если говорить о Data Governance, то есть ряд проектов, который изначально нас интересовал. Сейчас основная задача — обеспечить эффективные механизмы Metadata Bridge (интеграции как между нашими внутренними, так и внешними системами). Также в нашем roadmap значится имплементация в Hadoop Apache Atlas. Он не очень распространён в России, но может стать неплохим помощником с точки зрения интеграции с general Data quality системами. А уже осенью этого года мы планируем показать первые решения по дата-каталогу и бизнес-глоссарию.

– Портал документации Arenadata открыт для всех? И будет ли вся документация переведена на русский язык?

Александр Ермаков: Да, он открыт для всех. Вся документация будет переведена на русский язык. Изначально наши технические писатели готовили документацию именно на английском языке, но с учётом текущих реалий мы изменили подход, и теперь будем в основном разрабатывать русскоязычную документацию. Но и англоязычную продолжим поддерживать, так как в некоторых случаях, как показала практика, администраторам работать с ней проще.

– Уже который год ходят слухи о том, что готовится к выходу Greenplum 7. Есть ли по этому поводу какие-то новости? Как быстро, если эта версия выйдет, Arenadata сможет перевести на неё Arenadata DB?

Александр Ермаков: Мы общались по этому вопросу с продуктовой командой VMware/Pivotal. По их словам, седьмая версия Greenplum увидит свет этим летом. Однако существует вероятность, что дата релиза будет сдвинута. Я бы не рекомендовал переходить на какие-то upstream-версии продукта, пока не пройдёт процесс её стабилизации.

С нашими заказчиками, принявшими решение стать пионерами шестой версии Greenplum, мы провели немало бессонных ночей, решая разнообразные проблемы. Сейчас, конечно, к версии 6.20 Greenplum стал стабилен. С седьмой версией, скорее всего, повторится та же история, которую дополнительно усложнит то, что в неё планируется включить upstream-версию PostgreSQL.Поэтому я не рекомендую на прод-среде переходить на Greenplum 7 в первый же год его выхода, лучше подождать.

– Все Open Source проекты достаточно часто выпускают релизы. Как часто вы включаете их в свои продукты?

Александр Ермаков: У нас есть разные релизные циклы для продуктов. Есть динамичные продукты — например, с Arenadata DB мы стараемся не отставать на более чем две недели от Open Source релиза. С Arenadata QuickMarts (ADQM) мы поддерживаем LTS-версии. С Hadoop дела обстоят медленнее, поскольку он до сих пор является полным дистрибутивом, и это даёт определенное замедление с точки зрения выпуска новых версий компонентов, так как требуется осуществлять «бамп» практически всех пакетов, которые входят в состав. Для нас сейчас более приоритетны задачи в части безопасности и решение ряда задач, связанных со стабилизацией текущих версий.

Picodata: вклад в экосистему быстрых данных

Константин Осипов, создатель технологии Tarantool и сооснователь компании Picodata, выбрал для доклада тему «Picodata: вклад в экосистему быстрых данных». В его рамках он рассказал:

• о проблемах современных предприятий, которые можно решить с помощью технологии быстрых данных;
• об отличиях платформы Picodata от существующих решений;
• об экспертизе компании во внедрении и развитии решений класса IMDG;
• о выгоде для клиентов при взаимодействии с Picodata.

Смотрите запись выступления Константина Осипова

Вопросы от участников к Константину Осипову

– Сейчас доступна поддержка на ОС линейки RHEL, какие ещё ОС будут доступны в рамках готовых пакетов?

Константин Осипов: Picodata.io поддерживает актуальный репозиторий пакетов последней стабильной версии Tarantool для дистрибутивов Linux: RHEL 6/7/8 и Fedora 28/29/30/31. Кроме RHEL, решение Picodata совместимо с Ubuntu, Debian, из российских — Altlinux, Alt8SP. В остальных ОС, в том числе отечественных, наш продукт можно развернуть в docker-контейнерах.

– Есть ли у Arenadata «открытые» пакеты для Tarantool?

Константин Осипов: Да, есть, мы их передаём по запросу.

– В чём принципиальное отличие решения Picodata от Tarantool?

Константин Осипов: Picodata изначально разрабатывается как распределённая система. Основное отличие фундаментально — это новый менеджер кластера, учитывающий особенности распределённых систем и современного IT-ландшафта из коробки. Для запуска в kubernetes не требуются никакие сторонние операторы. Picodata позволяет управлять схемой данных консистентно на всём кластере. Новый движок SQL даёт возможность выполнять распределённые запросы к кластеру как к целому, а не локально к одному узлу. Для расширения возможностей системы Picodata предоставляет программный интерфейс на языке Rust.

Меры поддержки пилотных проектов внедрения в рамках национальной программы «Цифровая экономика РФ»

Алексей Борисов, директор по акселерации ТЭК и промышленности кластера ИТ, фонд «Сколково», и Антон Коваленко, директор по продажам в сегментах «Промышленность» и «Добыча сырья», выступили с совместным докладом «Меры поддержки пилотных проектов внедрения в рамках национальной программы “Цифровая экономика РФ”». В нём они рассказали о том, как получить грант от фонда «Сколково» на внедрение решений Arenadata.

Смотрите запись выступления Алексея Борисова и Антона Коваленко

Круглый стол на тему «Миграция с западного ПО»

В круглом столе на тему «Миграция с западного ПО» приняли участие эксперты крупнейших российских компаний:

• Дмитрий Алексеев, заместитель руководителя департамента технологического развития общебанковских систем банка ВТБ;
• Руслан Гарамов, исполнительный директор «ВЭБ.РФ»;
• Виталий Ранн, Product Manager, Data Platform, VK Cloud Solutions;
• Иван Попов, директор по развитию бизнеса (индустрия финансовых услуг), «Accenture Россия».

Arenadata на круглом столе представлял директор по консалтингу Антон Балагаев и Сергей Золотарёв, взявший на себя роль модератора мероприятия.

Эксперты обсудили многие актуальные вопросы по теме миграции с западного ПО, среди которых:

• Какие первоочередные задачи стоят перед организацией на старте проекта миграции?
• Что, кроме переписывания кода, важно понимать для анализа трудозатрат и сроков проекта?
• На какие нюансы при миграции стоит обратить внимание?
• Как формировать команды на проектах?
• Какие факторы стимулируют компании переходить в облака, а какие ограничивают? Какие шаги по миграции в облако важно предпринять компании, которая внедряет облачные сервисы?
• Какова на сегодняшний день конкурентная среда на российском рынке для отечественных решений по обработке и хранению данных? Будет ли рынок развиваться?
• Может ли переход на российский технологический стек быть сравним по стоимости с западными аналогами?

Смотрите запись круглого стола по миграции СУБД

Вопросы участникам круглого стола от зрителей

– Как коллеги из ВТБ собираются заменять Teradata campaign management?

Дмитрий Алексеев: Готового ответа нет. До недавнего времени мы рассматривали разные варианты, включая иностранные. Сейчас остался выбор из двух вариантов: самостоятельная разработка либо отечественные разработки, за которыми мы внимательно следим. На каком бы из них мы ни остановились, будем предъявлять обязательное требование: уметь интегрироваться с нашей новой платформой данных, построенной на Arenadata.

Виталий Ранн: В VK Cloud Solutions мы развиваем сервисы для работы с данными в концепции комплексных платформ. Например, в решениях Arenadata в облаке мы добавляем интеграционный слой (шина данных, интеграция между сервисами, ETL-процессы, мониторинг, бэкапирование) и предоставляем пользователям дата-платформу.

– Есть ли у компании VK Cloud Solutions успешные кейсы в направлении соблюдения банковской тайны и передачи данных в облака?

Виталий Ранн: Да, есть несколько российских банков, которые пользуются нашими услугами. Подробнее сказать не могу, так как это нарушит условия NDA. Отмечу, что сервисы VK CS соответствуют требованиям Банка России к обеспечению защиты информации, а также требованиям по защите персональных данных по УЗ-1.

– Есть ли у экспертов кейсы, когда компания в крайне сжатые сроки, например за две недели, мигрировала с зарубежного хранилища данных, а потом «допиливала» его?

Антон Балагаев: В нашей практики встречались случаи, когда нужно было быстро переехать с одной технологии на другую. В большей степени ничего переписывать не приходилось, но такая миграция была с созданием технического долга. В дельта-технологиях она обязывает обратить на себя внимание и какие-то решения принять. Можно откладывать миграцию и сохранять неэффективные решения, а можно сразу это переписать. Здесь вопрос только сроков.

– Можете ли поделиться примерами таких миграций и тем, насколько заказчик во время них потерял в производительности, какие ключевые проблемы у него возникали?

Антон Балагаев: Могу привести как пример кейс «Медиалогии». Этот наш заказчик мигрировал с Hortonworks на Arenadata Hadoop. Весь процесс занял буквально 2–3 недели. Обошлось без радикальных преобразований, поскольку дистрибутивы были достаточно похожи.

– Есть целый пласт решений и технологий, у которых в России нет прямых аналогов. Например, ERP-системы для больших корпораций. Определили ли эксперты в своих компаниях подходы к замене подобных систем?

Руслан Гарамов: Этот вопрос мы будем решать в каждом конкретном случае. Если функциональность, которая в каком-то существующем в компании решении, пусть даже сыром виде, реализована и она необходима и достаточна, то почему нет (то есть её можно использовать для замены). А если речь идёт о каком-то критичном функционале, который принципиально нужен, то следует рассматривать другие варианты. Главное в этом вопросе исходить из требований и возможностей присутствующих вариантов. Но в любом случае приоритет сейчас — двигаться в сторону решений, включённых в Единый реестр российских программ для ЭВМ и БД. Это является неоспоримым преимуществом на этапах закупок.

Дмитрий Алексеев: Мы тоже будем решать этот вопрос путём case-by-case. Видимо, автор вопроса немного знаком с нашей историей: в ВТБ уже несколько лет идёт внедрение европейской ERP, и в ближайшее время переходить на российский аналог или что-то переписывать мы не сможем. Все cloud-решения, которые были до недавнего времени у нас развёрнуты, мы перенесли on-premise и таким образом пока решаем этот вопрос. Есть у нас и другой пример: мы разрабатываем и даже уже выпустили первые версии своего ETL framework, который закрывает часть работ ETL.

Иван Попов: Классическая платформа данных — это не только СУБД и ETL. Это ещё и ряд компонентов, таких как система управления метаданными, система управления справочными данными, решения, связанные с автоматизацией функций Data Governance, DevOps. Все вместе они позволяют создать законченную платформу, которая сможет предоставлять данные как сервис. И здесь проблема заключается в том, что для СУБД худо-бедно на российском рынке представлены решения, а для ETL — большой вопрос. Есть ряд стартапов, разрабатывающих свои решения, есть путь с ETL-фреймворк, о котором сказал Дмитрий. Мы внутри компании также активно развиваем свой фреймворк. Для тех компаний, которые продают платформы данных, включение ETL-компонента в свой продуктовый pipeline значительно повысило бы привлекательность решения для конечного потребителя. Потому что, купив базу, следующий вопрос, который встаёт перед компанией: а как и чем в неё загрузить данные? Ведь все западные ETL-системы теперь купить нельзя. Я считаю, что компаниям, желающим развивать платформы данных и быть конкурентными на рынке, необходимо подумать о том, чтобы охватить своим взглядом и включить в свой pipeline развития не только core’овые вещи, связанные непосредственно с хранением и обработкой данных, но и все те сервисные компоненты, которые позволяют пользоваться ей быстро, удобно и «из коробки».

Дмитрий Алексеев: Дополню, что это не только загрузка, обработка и управление данными, но и визуализация, работа с аналитикой и BI.

– Вопрос к VK Cloud Solutions: за счёт чего происходит экономия при миграции в облако?

Виталий Ранн: В каждом проекте по-разному. Например, мы говорим о некотором «классическом» варианте, где у компании есть собственное «железо», где располагается ПО. Для «железа» нужны определённые условия эксплуатации: электричество, температурный режим, системный администратор, который поддерживает инфраструктуру. Потребуется выделить ресурсы на виртуализацию, найти специалиста по работе с продуктом (например, Greenplum) и DevOps-специалиста, который может перевести решение в промышленный контур, если есть задача поднять сразу несколько кластеров. К этому нужно добавить стоимость лицензий ПО, зарплату разработчика. При низкой загрузке решений для работы с данными издержки на поддержание системы (инфраструктура, работа команды специалистов) будут сохраняться, а рост объёмов данных резко увеличит затраты на масштабирование инфраструктуры и команды.

При переносе подобного решения в облако компания сокращает затраты на его поддержание. VK Cloud Solutions предоставляет сервисы по модели pay-as-you-go. Это даёт возможность оплачивать тот объём ресурсов, который необходим для корпоративного решения в каждый конкретный момент. Такой подход позволяет нашим клиентам снизить ТСО до 40%.

Будем рады помочь вам! Ещё раз благодарим всех, кто принял участие в нашей второй клиентской конференции на тему «Arenadata: какие проверенные решения работают в текущих реалиях». Если у вас остались вопросы к нашим экспертам или у вас есть пожелания или предложения по нашему следующему клиентскому мероприятию, отправьте их, пожалуйста, любым удобным способом. Будем рады ответить и помочь!

Задать вопрос