Arenadata Hadoop эволюционирует в Arenadata Hyperwave

08.07.2025
Arenadata представила новую версию ADH 4.0.0, в которой устранены межсервисные зависимости, — теперь заказчики могут устанавливать кластеры с любым набором компонентов без обязательных hadoop-сервисов. В связи с этим компания отказалась от прежнего наименования продукта (Arenadata Hadoop) и перезапускает ADH под новым названием — Arenadata Hyperwave.
Arenadata Hadoop эволюционирует в Arenadata Hyperwave

Arenadata Hyperwave — универсальная гибридная платформа на основе open source компонентов и проприетарных разработок, предназначенная для хранения, обработки и анализа данных любой структуры и объёма. Она предоставляет набор инструментов и сервисов для реализации современных архитектурных шаблонов — от Data Lake до Lakehouse и Data Mesh. Платформа поддерживает как простые сценарии аналитики, так и продвинутые варианты использования: машинное обучение, обнаружение аномалий, аналитику журнальных файлов и GenAI.


Александр Анисимов, технический руководитель продукта Arenadata Hyperwave
Александр Анисимов
Технический руководитель продукта Arenadata Hyperwave

«На момент запуска ADH базировался на жёстко связанных инструментах и компонентах экосистемы Hadoop, таких как HDFS, MapReduce, Yarn, однако со временем эволюционировал в полноценную платформу данных для гибридных нагрузок. Базовую функциональность расширили новые возможности: федеративные запросы, ACID-транзакции, автоматизированное управление хранением, безопасность корпоративного уровня и др. С децентрализацией компонентов (устранением жёсткой привязки к hadoop-сервисам) в версии 4.0.0 мы меняем название, чтобы отразить новые возможности платформы и современный технологический стек».

Новая версия содержит ряд функциональных обновлений:

  • Реализована возможность выполнять rolling restart для HDFS, ZooKeeper, Yarn и HBase. Функция позволяет перезапускать компоненты DataNode по одному (или партиями), а не все сразу. Это помогает избежать простоя сервисов и позволяет сохранить работоспособность кластера при рестарте.
  • Добавлен компонент Flink History Server, который отображает статистику завершённых приложений Flink в веб-интерфейсе.
  • Внедрён новый сервис Monitoring. Он разворачивает в ADH свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера, а также поддерживает возможность использования веб-интерфейса Grafana для визуализации и анализа информации. Сервис включает все необходимые экспортёры и настроенные инфопанели для HDFS, Ozone, Hue, Kyuubi, Yarn, HiveServer и HiveMetastore, Impala.
  • Появилась возможность автоматической установки Java из репозиториев Arenadata1.

Кроме того, релиз включает обновления версий сервисов, расширяющие их возможности:

  • В Trino добавлена поддержка объектного хранилища Ozone, в том числе поддержка работы с Ozone через протокол OFS. В поставку включён специализированный Trino ADB сonnector с поддержкой параллельных операций чтения/записи в кластере ArenadataDB (ADB). Реализован DBCatalogManager с версионированием и режимом обслуживания и расширенные возможности управления: конфигурацию дополнили настройки протоколирования, контроль бесперебойной работы с предустановленными значениями для текущего хранилища (HDFS/Ozone), настройки свойств сессии и групп ресурсов. Также расширены функции безопасности: для Trino добавлен плагин Ranger и возможность настройки LDAP-аутентификации через Arenadata Cluster Manager (ADCM).
  • В Ozone реализована возможность настройки Ozone Topology Awareness — функции, учитывающей физическую топологию сети при размещении данных. Она исключительно важна для обеспечения отказоустойчивости и общей производительности, особенно в географически распределённом кластере. При включённой функции Ozone размещает каждую реплику ключа на хосте в отдельной стойке, что гарантирует доступность данных в случае сетевого сбоя или других проблем.
  • Добавлена поддержка имперсонации для выполнения действий в Smart Storage Manager. Под имперсонацией понимается механизм, позволяющий сервису производить действия от имени другого пользователя, реализованный для соответствия политикам безопасности, изоляции данных и ресурсов между пользователями, а также аудита действий с фиксацией в журналах имени пользователя, который осуществил запуск.
  • В Hue теперь доступен преднастроенный интерпретатор Trino с расширенной функциональностью, включающей поддержку kerberos-аутентификации.
  • Для Kyuubi разработан Open Metadata Lineage Dispatcher для отправки lineage-событий на сервер OpenMetadata.
  • Оптимизирован ADB Spark Connector, получивший поддержку push-down-предикатов и gp_parallel_retrieve_cursor.
  • Реализована поддержка высокой доступности (HA) для сервисов Impala StateStore и Impala Catalog.

Вместе с обновлённой Arenadata Hyperwave представлен очередной релиз подсистемы безопасности Arenadata Platform Security (ADPS). Актуальная версия 1.2.2 включает апгрейд сервиса Ranger, обновление поддержки MaintenanceМode в ADCM, возможность изменять настройки протоколирования KnoxCLI в ADCM и другие улучшения.

Полный список изменений версии Arenadata Hyperwave 4.0.0

Полный список изменений версии Arenadata Platform Security 1.2.2



1. Данная функциональность представляется для полностью автоматической установки в системах, где отсутствуют необходимые зависимости. В продуктовых средах рекомендуется использовать JDK от официальных поставщиков.

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.