Arenadata Hyperwave (ADH) v4.0.0
NB: начиная с релиза 4.0.0 дистрибутив меняет нейминг с Arenadata Hadoop (ADH) на Arenadata Hyperwave (ADH). Для пользователей сохраняется возможность прямого апгрейда..
Новые сервисы:
- Monitoring: Grafana, Prometheus и все необходимые экспортёры и преднастроенные дашборды для HDFS, Ozone, HUE, Kyuubi, YARN, Hive Server и Hive Metastore, Impala.
- Flink History Server — отображает статистику о завершённых приложениях Flink в веб-интерфейсе.
Новые функции:
1. Децентрализация компонентов. Устранены жёсткие межсервисные зависимости, можно устанавливать кластеры с любым набором компонентов без привязки к обязательным Hadoop-сервисам.
2. Rolling restart для HDFS, ZooKeeper, YARN и HBase — возможность перезапускать компоненты DataNode по одному (или партиями), а не все сразу, чтобы избежать простоев и сохранить работоспособность кластера при рестарте.
3. Возможность автоматической установки Java из репозиториев Arenadata (в продуктовой среде рекомендуем использовать JDK от официальных дистрибьюторов!)
4. Trino:
- поддержка Ozone, включая работу протокол ofs;
- в поставку включён Trino ADB Connector с поддержкой параллельных операций чтения/записи данных в кластере ADB;
- реализован DBCatalogManager с версионированием и режимом обслуживания;
- в конфигурацию добавлены настройки логирования, контроль бесперебойной работы с предустановленными значениями для текущего хранилища (HDFS/Ozone), настройки свойств сессии и групп ресурсов;
- плагин Ranger и возможность настройки LDAP-аутентификации через ADCM.
5. Ozone:
- возможность настройки Ozone Topology awareness — функции, учитывающей физическую топологию сети при размещении данных.
6. Smart Storage Manager: поддержка имперсонации при выполнении действий в SSM.
7. HUE: доступен преднастроенный интерпретатор Trino, доработанный командой Arenadata (включая поддержку Kerberos-аутентификации).
8. ADB Spark Connector: оптимизация чтения с поддержкой push-down-предикатов и gp_parallel_retrieve_cursor.
9. Kyuubi: разработан OpenMetadataLineageDispatcher для отправки lineage-событий на сервер OpenMetadata для Kyuubi.
10. Impala: добавлена поддержка НА для State Store и Catalog.
Обновление версий компонентов, улучшения и багфиксы.
Arenadata Platform Security (ADPS) v1.2.2.b1
Ключевые изменения:
- Ranger обновлён до версии 2.6.0_arenadata1, установлены верные правила для файлов и директорий в кэше и spool-файлов.
- Добавлена поддержка Maintenance mode в ADCM.
- Ranger использует ADPG в качестве метастора по умолчанию.
- Добавлена возможность изменять настройки логирования Knox CLI в ADCM.
- Новое действие Add/Remove components для изменения топологии кластера.
Arenadata DB (ADB) v6.27.1.63
Ключевые изменения:
- Поддержка HTTPS для Enterprise Tools — соответствие самым строгим требованиям ИБ.
- Оптимизация GPORCA: реализация обработки запросов с коррелированными подзапросами с группировкой и ускорение подготовки отчётов.
- Корректировка мониторинга потребления памяти: pg_log теперь учитывается в общей статистике, что повышает устойчивость кластера.
- Использование спецсимволов в LDAP-паролях: реализована возможность использования спецсимволов $%&{%[, что повышает уровень безопасности LDAP-паролей.
- Оптимизация запросов, содержащих IS NULL для ADB2ADB-коннектора — оптимизация поиска записей с пустыми значениями (IS NULL) для ускорения обработки запросов на больших таблицах.
- Упрощён апгрейд: заполнение поля JAVA_HOME сделали необязательным для упрощения процесса обновления со старых версий.
ADB Backup Manager (ADBM) v2.5.0
Ключевые изменения:
- Добавлено отображение прогресса действия Common restore — наглядный индикатор выполнения в ADB Control.
- Добавлена опция Force для stream с типом Copy при настройке DR-кластера.
- Переработано действие Verify: кроме метаданных, теперь проверяются и сами файлы бэкапов на валидность.
ADB Control (ADBC) v4.13.0
- Автообновление сопоставлений групп LDAP при старте ADB Control — предотвращает ошибки аутентификации.
Picodata (PD), плагин Radix v0.7.0
Ключевые изменения:
Реализована поддержка дополнительных команд Redis, в том числе некоторых устаревших (по просьбе наших клиентов):
- общие команды:
- expiretime
- pexpiretime
- expire_at
- pttl
- pexpire_at
- pexpire
- psetex
- setex
- setnx
- hash
- hvals
- Отключены устаревшие setex, setnx, оставлена возможность подключить их обратно
Исправлено:
- Поведение блокирующих команд, если они вызываются из lua-скрипта: теперь они, как и в Redis, не блокируют ничего.
- Поведение команды CLUSTER REPLICAS (ранее она падала с ошибкой).
- Подключённые клиенты в некоторых случаях блокировали обновление конфигурации плагина.
- BLPOP и BRPOP на пустом списке приводили к падению, если в список добавляли элемент справа (например, RPUSH).
Новые плагины для Arenadata Cluster Manager (ADCM)
ADCM AIO Client v0.1.1
ADCM AIO Client — наш новый асинхронный HTTP-клиент на базе asyncio, созданный для того, чтобы сделать ваше взаимодействие с ADCM максимально быстрым и эффективным.
Преимущества:
- Интуитивная работа: мы спроектировали клиент так, чтобы его структура отражала архитектуру ADCM. Вы работаете с привычными объектами (cluster, service, host) прямо в коде, как с локальными ресурсами.
- Полный функционал: клиент предоставляет доступ ко всем ключевым операциям, таким как загрузка бандлов, создание кластеров, управление конфигурациями и группами, сложный маппинг и запуск действий с отслеживанием статуса.
- Создание хостов, изменение конфигураций и запуск действий выполняются параллельно, что значительно повышает скорость выполнения сложных сценариев автоматизации.
ADCM Installer
ADCM Installer — инструмент, который управляет полным жизненным циклом Arenadata Cluster Manager, упрощает настройку, запуск и обновление.
Ключевые возможности ADCM Installer:
- Быстрая инициализация: команда adi init сгенерирует необходимую конфигурацию, а интерактивный режим поможет с её детальной настройкой. Конфигурационный файл использует формат docker-compose, что упрощает его поддержку и кастомизацию под требования клиента.
- Развёртывание одной командой: adi apply сконфигурирует, запустит контейнеры docker и проведёт первоначальную инициализацию сервисов.
- Безопасное управление данными: встроенное шифрование (age-encryption) для всех конфиденциальных данных.
- Простое управление жизненным циклом: легко просматривайте, останавливайте и удаляйте инсталляции ADCM.
- Гибкая интеграция: управляйте версиями ADCM и различными инсталляциями из одного удобного интерфейса.