В конце декабря 2020 года Минцифры представило доработанный проект указа президента, касающийся сроков перевода объектов критической информационной инфраструктуры (КИИ), которыми, в частности, являются банки на преимущественное использование российского ПО и отечественного оборудования. В новой версии документ предписывает владельцам КИИ до 1 января 2023 года осуществить переход на преимущественное использование российского ПО и до 1 января 2024 года – на использование российского оборудования. В феврале 2021 года при Комитете Госдумы по финансовому рынку была создана рабочая группа по переходу финансовых организаций на отечественное ПО и оборудование. Мария Шевченко, председатель совета директоров «Киви Банка», которая возглавила этот Комитет, в интервью TAdviser говорила о том, что по состоянию на март 2021 года видит самую большую проблему импортозамещения в отсутствии отечественных СУБД, которые могут составить конкуренцию СУБД №1 в мире – от компании Oracle.
Тем временем ситуация с завершением срока поддержки решений SAP, Oracle, Microsoft в России уже несколько лет назад заставила банки искать российские аналоги взамен иностранного ПО. И, вопреки общему мнению, на сегодняшний день российские технологии достигли достаточной зрелости, чтобы не только составить конкуренцию западным, но и выиграть в конкурентной борьбе. Так, компания «Диасофт» и её партнер – российский разработчик платформы сбора и хранения данных Arenadata EDP – совместили свои компетенции и на реальных проектах в банках доказали, что полностью отечественные решения могут существенно превосходить западные, как с точки зрения экономики владения, так и в части производительности.
Герои интервью:
Павел Ишков
Директор по продажам направления “Банки” компании Arenadata
Игорь Шабанин
Заместитель директора департамента «Экономика данных» компании «Диасофт»
В 2020 году «Диасофт» начал сотрудничество в области импортозамещения с IT-вендором Arenadata. Расскажите, с чего началось знакомство ваших компаний?
Игорь Шабанин: «Диасофт» – это 100% российская компания. Мы работаем на финансовом рынке 30 лет, 15 из которых развиваем наши решения для аналитических задач и автоматизации обязательной, управленческой и налоговой отчетности. Решения построены на платформе развития бизнеса Digital Q Analytics & Reporting Solutions (ранее – платформа FLEXTERA BI). У нас реализовано и находится на сопровождении 35 сложнейших форм отчетности. Каждая из них – это большая аналитическая витрина со сложным алгоритмом расчета.В рамках стратегии развития платформы мы нацелены на сотрудничество с разработчиками отечественных СУБД. Наши продукты в области BI обрабатывают огромные массивы данных, и требовались решения, которые могли бы c этим справиться. Одним из наших требований была поддержка импортозамещения в банках, поэтому мы обратили внимание на продукты Arenadata . Разработки компании близки к нашим требованиям, при этом они российские и входят в реестр отечественного ПО. В итоге, в прошлом году мы заключили партнерский договор и поддержали кластерную СУБД Arenadata DB в наших продуктах.
Павел Ишков: Отлично, когда у бизнеса есть понимание, что цифровая трансформация — это не просто замена операциониста мобильным приложением, а комплексный подход к трансформации бизнес-процессов, в первую очередь — другой взгляд на информацию и возможности, связанные с ее анализом. Следующий шаг, это трансформация IT-ландшафта связанного с хранением и обработкой данных. На этом этапе возникает необходимость что-то делать с наследием. Как правило, наследие, это стек технологий внедренный в 00-х годах, который масштабируется за счет различного рода многослойных решений от разных производителей. Сейчас такое наследие не просто дорого содержать, зачастую его невозможно масштабировать без значительной потери производительности и доступности. Все эти факторы негативно сказываются на скорости вывода на рынок новых продуктов, ограничивают возможности использования цифровых коммуникаций, не позволяют принимать быстрые бизнес-решения, а предложения клиентам не попадают в реальные потребности.
С компанией «Диасофт» у нас общее видение того, как должна выглядеть IT-архитектура современного банка. Мы предоставляем отечественную корпоративную платформу по хранению и обработке больших данных, «Диасофт» делится своей многолетней отраслевой экспертизой в автоматизации финансового сектора и при необходимости создает в рамках конкретных проектов необходимые технические решения, например, в области интеграции. Такое партнерство уже по определению должно было стать очень продуктивным.
Какой проект стал знаковым в вашем совместном опыте? Когда вы поняли, что синергия даёт хорошие результаты?
Игорь Шабанин: Мы совместно с коллегами работали над проектом в крупном российском системно значимом банке. Перед нами стояла задача – мигрировать нашу систему подготовки обязательной отчетности с СУБД Oracle на российскую СУБД Arenadata DB (ADB).Уже на этапе тестирования, на старте этого проекта, мы увидели двукратный рост производительности системы «Диасофт» при переходе на решения компании Arenadata , а также способность Arenadata DB в режиме реального времени обрабатывать десятки петабайтов информации. Еще один вывод по итогам тестирования – использование возможностей Arenadata DB значительно удешевляет разработку, сборку и дальнейшее сопровождение систем отчетности. Результаты, полученные на этапе тестирования, были подтверждены уже после реализации двух этапов проекта.
В ходе проекта было несколько вызовов. Во-первых, огромный объем мигрируемых данных – на СУБД Arenadata DB требовалось перевести порядка 150 терабайтов архивных данных для подготовки отчетности, которые хранятся в системе «Диасофт». Во-вторых, необходимость осуществлять миграцию в короткие промежутки времени в технологические окна, чтобы на текущую продакшн-систему не накладывать большую нагрузку. В-третьих, отсутствие механизма интеграции Arenadata DB и Oracle.
И как вы решали эти задачи?
Игорь Шабанин: В ходе проекта мы с нуля разработали инструмент SUP (Streaming Unloader in Parallels). С помощью него мы ускорили процессы миграции большого объема данных и интегрировали сам инструмент с обеими СУБД: с СУБД Oracle – в части выгрузки данных, с внутренними сервисами Arenadata DB – в области их загрузки. Возможности инструмента позволяют осуществлять считывание и передачу данных произвольным количеством параллельных сессий, которое ограничивается только сегментами на кластере Arenadata. За счет того что каждая сессия работает по отдельности, приложение было оптимизировано и показало скорость передачи и выгрузки данных в два раза превосходящую скорость работы стандартных инструментов СУБД Oracle. В результате, миграция одного гигабайта данных происходила всего за одну секунду.Разработка и столь успешное применение инструмента интеграции SUP – это важное достижение для «Диасофт», так как показывает нашу высокую готовность работать с продуктами Arenadata. Уверены, что инструмент SUP будет востребован и в других проектах. И конечно, разрабатываем к нему дополнительные адаптеры для считывания данных с разных СУБД.
Павел Ишков: Мы были полностью уверены, что сможем обеспечить качественную работу с данными в этом проекте. Наша платформа изначально предназначена для хранения и обработки огромных объёмов информации, а технологический стек оптимален для построения высоконагруженных корпоративных хранилищ, гибкого масштабирования и работы с «тяжелой аналитикой» (IoT, ML и BI).
В частности, колоночная массивно-параллельная аналитическая СУБД Arenadata DB — это наш корпоративный дистрибутив международного Open Source-проекта Greenplum. Мы очень серьезно занимаемся развитием этой технологии, в настоящий момент Arenadata — второй в мире контрибьютор Greenplum (после Pivotal).
Эта технология давно и хорошо известна на западе, а сейчас стремительно набирает популярность в России и в особенности на финансовом рынке. По сути, Greenplum, в реализации аналитических задач, — это полноценная альтернатива тому же Oracle, только с более низким TCO. Он особенно актуален, когда необходима горизонтально масштабируемая аналитическая СУБД для хранилища с объёмом не менее 2-3ТБ, где стоят задачи подготовки операционной, управленческой и регуляторной отчётности или скоринга клиентов.
Однако у нашего продукта — Arenadata DB — есть ряд существенных отличий от Open Source-версии Greenplum. Например, все наши продукты нативно интегрированы в единую платформу Arenadata Enterprise Data Platform (EDP). Это значит, что автоматизирована интеграция любых компонентов и сервисов друг с другом. В наших решениях реализованы упрощенные установка, настройка и обновление кластеров, реализованы системы мониторинга работоспособности кластеров и запросов, обеспечена поддержка x86 и Power-совместимого оборудования. Разворачивать наши data-сервисы можно как в облаке, так on-premise или в качестве PaaS-сервисов. Поскольку мы понимаем, что у IT-специалистов в России еще сравнительно мало практического опыта работы с нашими продуктами, уделяем большое внимание подготовке исчерпывающей русскоязычной документации, обучению специалистов (курсы, вебинары) и технической поддержке 24х7.
Как вы видите дальнейшее партнёрство?
Игорь Шабанин: Мы обучили и сертифицировали наших специалистов разработке и администрированию на продуктах Arenadata. Сейчас это 24 специалиста, но мы планируем в ближайшее время обучить всю команду специалистов по направлениям BI и отчетность в составе более 150 человек. Мы видим большую потребность финансовых организаций в проектах с использованием СУБД от компании Arenadata. Следовательно, и спрос на специалистов будет расти. Наша задача – не только перевести наши решения для аналитических задач на эту СУБД, но и обеспечить проекты перевода собственных хранилищ банков на Arenadata, поэтому у нас с партнером еще много задач и планов впереди.Павел Ишков: Когда мы только начинали сотрудничество с «Диасофт», мы рассчитывали на огромный опыт и компетенции нашего партнера в области цифровизации и автоматизации работы на финансовых рынках. Расчёт оказался верен, результаты первого общего проекта показали, что сотрудничество получается успешным и продуктивным. Сейчас мы активно работаем над расширением стека технологий, задействованных в общих проектах, и увеличением спектра решаемых задач в области цифровой трансформации, цифровизации и импортозамещения в финансовом секторе.
