Arenadata Hyperwave — универсальная гибридная платформа на основе open source компонентов и проприетарных разработок, предназначенная для хранения, обработки и анализа данных любой структуры и объёма. Она предоставляет набор инструментов и сервисов для реализации современных архитектурных шаблонов — от Data Lake до Lakehouse и Data Mesh. Платформа поддерживает как простые сценарии аналитики, так и продвинутые варианты использования: машинное обучение, обнаружение аномалий, аналитику журнальных файлов и GenAI.
«На момент запуска ADH базировался на жёстко связанных инструментах и компонентах экосистемы Hadoop, таких как HDFS, MapReduce, Yarn, однако со временем эволюционировал в полноценную платформу данных для гибридных нагрузок. Базовую функциональность расширили новые возможности: федеративные запросы, ACID-транзакции, автоматизированное управление хранением, безопасность корпоративного уровня и др. С децентрализацией компонентов (устранением жёсткой привязки к hadoop-сервисам) в версии 4.0.0 мы меняем название, чтобы отразить новые возможности платформы и современный технологический стек».
Новая версия содержит ряд функциональных обновлений:
- Реализована возможность выполнять rolling restart для HDFS, ZooKeeper, Yarn и HBase. Функция позволяет перезапускать компоненты DataNode по одному (или партиями), а не все сразу. Это помогает избежать простоя сервисов и позволяет сохранить работоспособность кластера при рестарте.
- Добавлен компонент Flink History Server, который отображает статистику завершённых приложений Flink в веб-интерфейсе.
- Внедрён новый сервис Monitoring. Он разворачивает в ADH свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера, а также поддерживает возможность использования веб-интерфейса Grafana для визуализации и анализа информации. Сервис включает все необходимые экспортёры и настроенные инфопанели для HDFS, Ozone, Hue, Kyuubi, Yarn, HiveServer и HiveMetastore, Impala.
- Появилась возможность автоматической установки Java из репозиториев Arenadata1.
Кроме того, релиз включает обновления версий сервисов, расширяющие их возможности:
- В Trino добавлена поддержка объектного хранилища Ozone, в том числе поддержка работы с Ozone через протокол OFS. В поставку включён специализированный Trino ADB сonnector с поддержкой параллельных операций чтения/записи в кластере ArenadataDB (ADB). Реализован DBCatalogManager с версионированием и режимом обслуживания и расширенные возможности управления: конфигурацию дополнили настройки протоколирования, контроль бесперебойной работы с предустановленными значениями для текущего хранилища (HDFS/Ozone), настройки свойств сессии и групп ресурсов. Также расширены функции безопасности: для Trino добавлен плагин Ranger и возможность настройки LDAP-аутентификации через Arenadata Cluster Manager (ADCM).
- В Ozone реализована возможность настройки Ozone Topology Awareness — функции, учитывающей физическую топологию сети при размещении данных. Она исключительно важна для обеспечения отказоустойчивости и общей производительности, особенно в географически распределённом кластере. При включённой функции Ozone размещает каждую реплику ключа на хосте в отдельной стойке, что гарантирует доступность данных в случае сетевого сбоя или других проблем.
- Добавлена поддержка имперсонации для выполнения действий в Smart Storage Manager. Под имперсонацией понимается механизм, позволяющий сервису производить действия от имени другого пользователя, реализованный для соответствия политикам безопасности, изоляции данных и ресурсов между пользователями, а также аудита действий с фиксацией в журналах имени пользователя, который осуществил запуск.
- В Hue теперь доступен преднастроенный интерпретатор Trino с расширенной функциональностью, включающей поддержку kerberos-аутентификации.
- Для Kyuubi разработан Open Metadata Lineage Dispatcher для отправки lineage-событий на сервер OpenMetadata.
- Оптимизирован ADB Spark Connector, получивший поддержку push-down-предикатов и gp_parallel_retrieve_cursor.
- Реализована поддержка высокой доступности (HA) для сервисов Impala StateStore и Impala Catalog.
Вместе с обновлённой Arenadata Hyperwave представлен очередной релиз подсистемы безопасности Arenadata Platform Security (ADPS). Актуальная версия 1.2.2 включает апгрейд сервиса Ranger, обновление поддержки MaintenanceМode в ADCM, возможность изменять настройки протоколирования KnoxCLI в ADCM и другие улучшения.
Полный список изменений версии Arenadata Hyperwave 4.0.0
Полный список изменений версии Arenadata Platform Security 1.2.2
1. Данная функциональность представляется для полностью автоматической установки в системах, где отсутствуют необходимые зависимости. В продуктовых средах рекомендуется использовать JDK от официальных поставщиков.