В релизе Arenadata Hyperwave обновлены версии сервисов, включая S3-совместимое хранилище объектов Ozone — в нём реализована улучшенная архитектура хранения, адаптированная к работе с большими объёмами данных, новые алгоритмы обработки метаданных, механизмы восстановления и отказоустойчивости, а также расширенная поддержка шифрования, аутентификации и контроля доступа. В состав дистрибутива включён Ozone Client — консольный инструмент для взаимодействия с Ozone-кластером.
В новой версии Trino, SQL-движка для сложных федеративных запросов, реализован балансировщик нагрузки HAproxy, предназначенный для обеспечения отказоустойчивости, масштабируемости и высокой доступности, а также Trino Client, позволяющий выполнять SQL-запросы и управлять соединениями. Добавлена поддержка Hadoop SQL-политик в Trino, позволяющая избежать дублирования настроек авторизации. Начиная с Arenadata Hyperwave 4.1.0 в поставку включён Trino OpenAPI-коннектор — инструмент для взаимодействия с REST API, позволяющий выполнять аналитические запросы к внешним сервисам и данным, доступным через REST API.
Flink 2 и Spark 4 дополнили предыдущие поколения сервисов, входящих в состав дистрибутива1. Flink 2 решает известные ограничения Flink 1.x в области управления состоянием и обработки гибридных рабочих нагрузок, объединяя ряд улучшений для работы как в потоковых, так и в пакетных сценариях. Новый адаптивный планировщик автоматически оптимизирует параллелизм операций, повышая общую эффективность платформы. Архитектура управления дезагрегированным состоянием позволяет более эффективно использовать ресурсы в облачных средах, гарантируя высокопроизводительную обработку в реальном времени и сводя к минимуму затраты ресурсов.
Spark 4 содержит ряд архитектурных изменений и оптимизаций. В числе преимуществ — улучшенная производительность при выполнении сложных аналитических запросов, расширенная интеграция с Iceberg и другими современными форматами, новые функции для работы с потоковыми данными. Cервис развивается в сторону стандартизации подходов, предоставляя новую клиент-серверную архитектуру Spark Connect, развитие совместимости с ANSI SQL и другие улучшения.
Вместе с Arenadata Hyperwave выпущено масштабное обновление подсистемы безопасности Arenadata Platform Security (ADPS). Начиная с версии ADPS 2.0.0 в её состав включён новый сервис OpenBao — система управления доступами к секретам и шифрованием. Система обеспечивает возможности для хранения, генерации, шифрования и отзыва конфиденциальных данных (например, API-ключей, сертификатов, паролей), предоставляет средства аудита и управления политиками, выступая как единая и безопасная система учёта доступов.
В релизе обновлён сервис Ranger, в числе доработок — поддержка ротации логов аудита распределённой файловой системы HDFS, плагины hive-chained-plugin для HDFS и Ozone, а также компонент Resource Mapping Manager, позволяющий сопоставлять ресурсы и права на них между Hadoop SQL и Storage (HDFS, Ozone) политиками.
Новые версии Arenadata Hyperwave и Arenadata Platform Security совместимы с российскими операционными системами «Альт СП» (релиз 10) и Astra Linux 1.7 «Воронеж». Поддержка сертифицированных ФСТЭК России операционных систем позволяет интегрировать продукты в более широкий спектр инфраструктур с повышенными требованиями к безопасности.
Полный список изменений версии Arenadata Hyperwave 4.1.0.
Полный список изменений версии Arenadata Platform Security 2.0.0.
Возможности Arenadata Hyperwave
Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.
Решаемые задачи:
- хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
- распределённая обработка информации;
- построение озёр данных, Lakehouse и Data Mesh (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
- машинное обучение и искусственный интеллект;
- импортозамещение и разгрузка систем зарубежных вендоров.
На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.
1. Сервисы Flink 2 и Spark 4 предназначены для ознакомления в режиме технологического превью и в настоящее время не рекомендованы для продуктивного использования.