Обзор продуктовых релизов за июнь 2025

Arenadata Hyperwave (ADH) v4.0.0

NB: начиная с релиза 4.0.0 дистрибутив меняет нейминг с Arenadata Hadoop (ADH) на Arenadata Hyperwave (ADH). Для пользователей сохраняется возможность прямого апгрейда..

Новые сервисы:

• Monitoring: Grafana, Prometheus и все необходимые экспортёры и преднастроенные дашборды для HDFS, Ozone, HUE, Kyuubi, YARN, Hive Server и Hive Metastore, Impala.
• Flink History Server — отображает статистику о завершённых приложениях Flink в веб-интерфейсе.

Новые функции:

1. Децентрализация компонентов. Устранены жёсткие межсервисные зависимости, можно устанавливать кластеры с любым набором компонентов без привязки к обязательным Hadoop-сервисам.

2. Rolling restart для HDFS, ZooKeeper, YARN и HBase — возможность перезапускать компоненты DataNode по одному (или партиями), а не все сразу, чтобы избежать простоев и сохранить работоспособность кластера при рестарте.

3. Возможность автоматической установки Java из репозиториев Arenadata (в продуктовой среде рекомендуем использовать JDK от официальных дистрибьюторов!)

4. Trino:

• поддержка Ozone, включая работу протокол ofs;
• в поставку включён Trino ADB Connector с поддержкой параллельных операций чтения/записи данных в кластере ADB;
• реализован DBCatalogManager с версионированием и режимом обслуживания;
• в конфигурацию добавлены настройки логирования, контроль бесперебойной работы с предустановленными значениями для текущего хранилища (HDFS/Ozone), настройки свойств сессии и групп ресурсов;
• плагин Ranger и возможность настройки LDAP-аутентификации через ADCM.

5. Ozone:

• возможность настройки Ozone Topology awareness — функции, учитывающей физическую топологию сети при размещении данных.

6. Smart Storage Manager: поддержка имперсонации при выполнении действий в SSM.

7. HUE: доступен преднастроенный интерпретатор Trino, доработанный командой Arenadata (включая поддержку Kerberos-аутентификации).

8. ADB Spark Connector: оптимизация чтения с поддержкой push-down-предикатов и gp_parallel_retrieve_cursor.

9. Kyuubi: разработан OpenMetadataLineageDispatcher для отправки lineage-событий на сервер OpenMetadata для Kyuubi.

10. Impala: добавлена поддержка НА для State Store и Catalog.

Обновление версий компонентов, улучшения и багфиксы.

Полное описание релиза.

Arenadata Platform Security (ADPS) v1.2.2.b1

Ключевые изменения:

• Ranger обновлён до версии 2.6.0_arenadata1, установлены верные правила для файлов и директорий в кэше и spool-файлов.
• Добавлена поддержка Maintenance mode в ADCM.
• Ranger использует ADPG в качестве метастора по умолчанию.
• Добавлена возможность изменять настройки логирования Knox CLI в ADCM.
• Новое действие Add/Remove components для изменения топологии кластера.

Полное описание релиза.

Arenadata DB (ADB) v6.27.1.63

Ключевые изменения:

• Поддержка HTTPS для Enterprise Tools — соответствие самым строгим требованиям ИБ.
• Оптимизация GPORCA: реализация обработки запросов с коррелированными подзапросами с группировкой и ускорение подготовки отчётов.
• Корректировка мониторинга потребления памяти: pg_log теперь учитывается в общей статистике, что повышает устойчивость кластера.
• Использование спецсимволов в LDAP-паролях: реализована возможность использования спецсимволов $%&{%[, что повышает уровень безопасности LDAP-паролей.
• Оптимизация запросов, содержащих IS NULL для ADB2ADB-коннектора — оптимизация поиска записей с пустыми значениями (IS NULL) для ускорения обработки запросов на больших таблицах.
• Упрощён апгрейд: заполнение поля JAVA_HOME сделали необязательным для упрощения процесса обновления со старых версий.

Полное описание релиза.

ADB Backup Manager (ADBM) v2.5.0

Ключевые изменения:

• Добавлено отображение прогресса действия Common restore — наглядный индикатор выполнения в ADB Control.
• Добавлена опция Force для stream с типом Copy при настройке DR-кластера.
• Переработано действие Verify: кроме метаданных, теперь проверяются и сами файлы бэкапов на валидность.

ADB Control (ADBC) v4.13.0

• Автообновление сопоставлений групп LDAP при старте ADB Control — предотвращает ошибки аутентификации.

Picodata (PD), плагин Radix v0.7.0

Ключевые изменения:

Реализована поддержка дополнительных команд Redis, в том числе некоторых устаревших (по просьбе наших клиентов):

• общие команды:
• expiretime
• pexpiretime
• expire_at
• pttl
• pexpire_at
• pexpire
• psetex
• setex
• setnx
• hash
• hvals
• Отключены устаревшие setex, setnx, оставлена возможность подключить их обратно

Исправлено:

1. Поведение блокирующих команд, если они вызываются из lua-скрипта: теперь они, как и в Redis, не блокируют ничего.
2. Поведение команды CLUSTER REPLICAS (ранее она падала с ошибкой).
3. Подключённые клиенты в некоторых случаях блокировали обновление конфигурации плагина.
4. BLPOP и BRPOP на пустом списке приводили к падению, если в список добавляли элемент справа (например, RPUSH).

Полное описание релиза.

Новые плагины для Arenadata Cluster Manager (ADCM)

ADCM AIO Client v0.1.1

ADCM AIO Client — наш новый асинхронный HTTP-клиент на базе asyncio, созданный для того, чтобы сделать ваше взаимодействие с ADCM максимально быстрым и эффективным.

Преимущества:

• Интуитивная работа: мы спроектировали клиент так, чтобы его структура отражала архитектуру ADCM. Вы работаете с привычными объектами (cluster, service, host) прямо в коде, как с локальными ресурсами.
• Полный функционал: клиент предоставляет доступ ко всем ключевым операциям, таким как загрузка бандлов, создание кластеров, управление конфигурациями и группами, сложный маппинг и запуск действий с отслеживанием статуса.
• Создание хостов, изменение конфигураций и запуск действий выполняются параллельно, что значительно повышает скорость выполнения сложных сценариев автоматизации.

Репозиторий проекта.

ADCM Installer

ADCM Installer — инструмент, который управляет полным жизненным циклом Arenadata Cluster Manager, упрощает настройку, запуск и обновление.

Ключевые возможности ADCM Installer:

• Быстрая инициализация: команда adi init сгенерирует необходимую конфигурацию, а интерактивный режим поможет с её детальной настройкой. Конфигурационный файл использует формат docker-compose, что упрощает его поддержку и кастомизацию под требования клиента.
• Развёртывание одной командой: adi apply сконфигурирует, запустит контейнеры docker и проведёт первоначальную инициализацию сервисов.
• Безопасное управление данными: встроенное шифрование (age-encryption) для всех конфиденциальных данных.
• Простое управление жизненным циклом: легко просматривайте, останавливайте и удаляйте инсталляции ADCM.
• Гибкая интеграция: управляйте версиями ADCM и различными инсталляциями из одного удобного интерфейса.

Репозиторий проекта.