Обзор продуктовых релизов за июнь 2025

09.07.2025
Группа Arenadata в июне выпустила обновления для Arenadata Hyperwave (ADH, прежнее название — Arenadata Hadoop), Arenadata Platform Security (ADPS) и Arenadata DB (ADB) вместе с компонентами ADBM и ADBC, а также для коммерческого плагина Picodata Radix 0.7.0. Кроме того, представлены два новых инструмента для Arenadata Cluster Manager (ADCM) ADCM AIO Client и ADCM Installer.
Обзор продуктовых релизов за июнь 2025

Arenadata Hyperwave (ADH) v4.0.0


NB: начиная с релиза 4.0.0 дистрибутив меняет нейминг с Arenadata Hadoop (ADH) на Arenadata Hyperwave (ADH). Для пользователей сохраняется возможность прямого апгрейда..

Новые сервисы:

  • Monitoring: Grafana, Prometheus и все необходимые экспортёры и преднастроенные дашборды для HDFS, Ozone, HUE, Kyuubi, YARN, Hive Server и Hive Metastore, Impala.
  • Flink History Server — отображает статистику о завершённых приложениях Flink в веб-интерфейсе.

Новые функции:

1. Децентрализация компонентов. Устранены жёсткие межсервисные зависимости, можно устанавливать кластеры с любым набором компонентов без привязки к обязательным Hadoop-сервисам.

2. Rolling restart для HDFS, ZooKeeper, YARN и HBase — возможность перезапускать компоненты DataNode по одному (или партиями), а не все сразу, чтобы избежать простоев и сохранить работоспособность кластера при рестарте.

3. Возможность автоматической установки Java из репозиториев Arenadata (в продуктовой среде рекомендуем использовать JDK от официальных дистрибьюторов!)

4. Trino:

  • поддержка Ozone, включая работу протокол ofs;
  • в поставку включён Trino ADB Connector с поддержкой параллельных операций чтения/записи данных в кластере ADB;
  • реализован DBCatalogManager с версионированием и режимом обслуживания;
  • в конфигурацию добавлены настройки логирования, контроль бесперебойной работы с предустановленными значениями для текущего хранилища (HDFS/Ozone), настройки свойств сессии и групп ресурсов;
  • плагин Ranger и возможность настройки LDAP-аутентификации через ADCM.

5. Ozone:

  • возможность настройки Ozone Topology awareness — функции, учитывающей физическую топологию сети при размещении данных.

6. Smart Storage Manager: поддержка имперсонации при выполнении действий в SSM.

7. HUE: доступен преднастроенный интерпретатор Trino, доработанный командой Arenadata (включая поддержку Kerberos-аутентификации).

8. ADB Spark Connector: оптимизация чтения с поддержкой push-down-предикатов и gp_parallel_retrieve_cursor.

9. Kyuubi: разработан OpenMetadataLineageDispatcher для отправки lineage-событий на сервер OpenMetadata для Kyuubi.

10. Impala: добавлена поддержка НА для State Store и Catalog.

Обновление версий компонентов, улучшения и багфиксы.

Полное описание релиза.


Arenadata Platform Security (ADPS) v1.2.2.b1


Ключевые изменения:

  • Ranger обновлён до версии 2.6.0_arenadata1, установлены верные правила для файлов и директорий в кэше и spool-файлов.
  • Добавлена поддержка Maintenance mode в ADCM.
  • Ranger использует ADPG в качестве метастора по умолчанию.
  • Добавлена возможность изменять настройки логирования Knox CLI в ADCM.
  • Новое действие Add/Remove components для изменения топологии кластера.

Полное описание релиза.


Arenadata DB (ADB) v6.27.1.63


Ключевые изменения:

  • Поддержка HTTPS для Enterprise Tools — соответствие самым строгим требованиям ИБ.
  • Оптимизация GPORCA: реализация обработки запросов с коррелированными подзапросами с группировкой и ускорение подготовки отчётов.
  • Корректировка мониторинга потребления памяти: pg_log теперь учитывается в общей статистике, что повышает устойчивость кластера.
  • Использование спецсимволов в LDAP-паролях: реализована возможность использования спецсимволов $%&{%[, что повышает уровень безопасности LDAP-паролей.
  • Оптимизация запросов, содержащих IS NULL для ADB2ADB-коннектора — оптимизация поиска записей с пустыми значениями (IS NULL) для ускорения обработки запросов на больших таблицах.
  • Упрощён апгрейд: заполнение поля JAVA_HOME сделали необязательным для упрощения процесса обновления со старых версий.

Полное описание релиза.


ADB Backup Manager (ADBM) v2.5.0


Ключевые изменения:

  • Добавлено отображение прогресса действия Common restore — наглядный индикатор выполнения в ADB Control.
  • Добавлена опция Force для stream с типом Copy при настройке DR-кластера.
  • Переработано действие Verify: кроме метаданных, теперь проверяются и сами файлы бэкапов на валидность.

ADB Control (ADBC) v4.13.0

  • Автообновление сопоставлений групп LDAP при старте ADB Control — предотвращает ошибки аутентификации.

Picodata (PD), плагин Radix v0.7.0


Ключевые изменения:

Реализована поддержка дополнительных команд Redis, в том числе некоторых устаревших (по просьбе наших клиентов):

  • общие команды:
    • expiretime
    • pexpiretime
    • expire_at
    • pttl
    • pexpire_at
    • pexpire
    • psetex
    • setex
    • setnx
  • hash
    • hvals
  • Отключены устаревшие setex, setnx, оставлена возможность подключить их обратно

Исправлено:

  1. Поведение блокирующих команд, если они вызываются из lua-скрипта: теперь они, как и в Redis, не блокируют ничего.
  2. Поведение команды CLUSTER REPLICAS (ранее она падала с ошибкой).
  3. Подключённые клиенты в некоторых случаях блокировали обновление конфигурации плагина.
  4. BLPOP и BRPOP на пустом списке приводили к падению, если в список добавляли элемент справа (например, RPUSH).

Полное описание релиза.


Новые плагины для Arenadata Cluster Manager (ADCM)


ADCM AIO Client v0.1.1


ADCM AIO Client — наш новый асинхронный HTTP-клиент на базе asyncio, созданный для того, чтобы сделать ваше взаимодействие с ADCM максимально быстрым и эффективным.

Преимущества:

  • Интуитивная работа: мы спроектировали клиент так, чтобы его структура отражала архитектуру ADCM. Вы работаете с привычными объектами (cluster, service, host) прямо в коде, как с локальными ресурсами.
  • Полный функционал: клиент предоставляет доступ ко всем ключевым операциям, таким как загрузка бандлов, создание кластеров, управление конфигурациями и группами, сложный маппинг и запуск действий с отслеживанием статуса.
  • Создание хостов, изменение конфигураций и запуск действий выполняются параллельно, что значительно повышает скорость выполнения сложных сценариев автоматизации.

Репозиторий проекта.


ADCM Installer


ADCM Installer — инструмент, который управляет полным жизненным циклом Arenadata Cluster Manager, упрощает настройку, запуск и обновление.

Ключевые возможности ADCM Installer:

  • Быстрая инициализация: команда adi init сгенерирует необходимую конфигурацию, а интерактивный режим поможет с её детальной настройкой. Конфигурационный файл использует формат docker-compose, что упрощает его поддержку и кастомизацию под требования клиента.
  • Развёртывание одной командой: adi apply сконфигурирует, запустит контейнеры docker и проведёт первоначальную инициализацию сервисов.
  • Безопасное управление данными: встроенное шифрование (age-encryption) для всех конфиденциальных данных.
  • Простое управление жизненным циклом: легко просматривайте, останавливайте и удаляйте инсталляции ADCM.
  • Гибкая интеграция: управляйте версиями ADCM и различными инсталляциями из одного удобного интерфейса.

Репозиторий проекта.



Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.