Обзор релизов за ноябрь — декабрь 2022 года

Arenadata DB 6.x

Улучшения и новый функционал

• Arenadata DB Backup Manager 1.0.
  Добавлен новый функционал отказоустойчивого неблокирующего физического резервного копирования с интерфейсом управления в Arenadata Command Center.
• Новый UI в Arenadata Command Center 4.0.
  Полностью обновлен на React пользовательский интерфейс Arenadata DB Command Center.
• Ресурсные группы в Arenadata DB Command Center 4.0.
  Добавлен блок для конфигурации и мониторинга ресурсных групп в Arenadata DB Command Center.
• Маскирование и шифрование пароля для PXF 6.4.2.
  Добавлена возможность генерировать хэш и добавлять в профиль PXF вместо указания пароля в открытом виде.
• Переработка механизма обновления pg_hba.conf.
  Выделена Custom-секция pg_hba.conf в интерфейсе ADCM для гибкого управления пользовательскими настройками Host-based Access.
• Доработки arenadata_toolkit в части отслеживания динамики роста объектов.
  Оптимизирована таблица db_files_history, добавлено партиционирование и компрессия.
• Доработан коннектор kafka-fdw (Kafka-to-ADB).
  Добавлена возможность читать AVRO-сообщения без схемы.

Исправления

• Устранён Segmentation fault при чтении PXF’ом внешней JDBC-таблицы.
  Ранее при некорректно сформированном чанке, приходящем из JDBC, возникал SIGSEGV.

В следующем релизе

• Совместная работа Arenadata Command Center и gpperfmon
• Доработка gpcheckperf утилиты.
• Добавление параметра размера буфера.
• Arenadata DB Backup Manager 1.1:
• Поддержка отказоустойчивости агентов.
• Восстановление на остановленный кластер (force restore).
• Восстановление на соседний кластер, зарегистрированный в том же Arenadata Command Center.
• Выбор БД для восстановления.

Arenadata Hadoop

Улучшения и новый функционал

• Новая версии сервиса Flink 1.15.1 с возможностью автоматического обновления с предыдущей версии.
  Добавлена возможность установить Flink версии 1.15.1, а также возможность «по кнопке» обновиться с предыдущей версии. Новая версия позволит воспользоваться новым функционалом, а также исправить проблемы предыдущей версии.
• Новая версия сервиса Hbase 2.0.4 с возможностью автоматического обновления с предыдущей версии.
  Добавлена возможность установить Hbase версии 2.0.4, а также возможность «по кнопке» обновиться с предыдущей версии. Новая версия позволит исправить проблемы предыдущей.
• Новая версия сервиса Zookeeper 3.5.10 с возможностью автоматического обновления с предыдущей версии.
  Добавлена возможность установить Zookeeper версии 3.5.10, а также возможность «по кнопке» обновиться с предыдущей версии. Новая версия позволит исправить проблемы предыдущей.
• Новый компонент Spark3 — Livy 0.7.1 c поддержкой Spark 3.3.0 на Scala 2.13.
  Добавлена возможность установить компонент Livy версии 0.7.1 в качестве отдельного компонента параллельно Livy для Spark версии 2.3.2. В компонент добавлена возможность поддержки Spark-3.3.0 и Scala-2.13.
• Новый сервис AirFlow 2.
  Добавлен новый сервис AirFlow версии 2.3.3. Сервис устанавливается параллельно AirFlow версии 1.10.11, что даёт возможность перенести настройки и задания с предыдущей версии. На данный момент сервис обладает временными ограничениями: отказоустойчивость и интеграция пользователей групп и ролей с Active Directory/LDAP/FreeIPA.
• Кастомизация krb5.conf и ldap.conf через интерфейс Areandata Cluster Manager.
  Добавлена возможность самостоятельно изменить содержимое конфигурационных файлов krb5.conf и ldap.conf средствами ADCM. Данный функционал позволит настраивать более сложные и тонкие конфигурации керберизации и авторизации в зависимости от сложности инфраструктуры.
• Возможность принудительного отключения HDFS ACL при включенном Ranger plugin.
  Добавлена возможность принудительно отключить политики доступа HDFS, если включен плагин Ranger. Это позволит использовать единую «точку правды» для организации доступа пользователей.

Исправления

• Исправлена возможность производить вывод YARN NodeManagers в произвольном порядке.
  При выводе YARN NodeManagers в непредусмотренном порядке возникали ошибки, что приводило к большим ограничениям в эксплуатации кластера.
• Исправлена поддержка YARN FairScheduler.
  При использовании YARN FairScheduler возникали ошибки при реконфигурации кластера.
• Исправлена поддержка Spark Livy impersonation.
  При использовании Livy отсутствовала возможность запускать задачи от конечного пользователя в режиме Kerberos, задачи запускались от системного пользователя.

В следующем релизе

• Обновление Hive до версии 3.1.3.
  Администраторы Arenadata Hadoop получат возможность установить Hive версии 3.1.3, а также возможность «по кнопке» обновиться с предыдущей версии. Новая версия позволит исправить проблемы предыдущей.

Arenadata Cluster Manager

Улучшения и новый функционал

• Новая версии сервиса Flink 1.15.1 с возможностью автоматического обновления с предыдущей версии.
  Добавлена возможность установить Flink версии 1.15.1, а также возможность «по кнопке» обновиться с предыдущей версии. Новая версия позволит воспользоваться новым функционалом, а также исправить проблемы предыдущей версии.
• Просмотр аудит-логов через интерфейс.
  У администратора ADCM появилась возможность просматривать аудит-логи операций через интерфейс пользователя или запрашивать их через API.
• Режим обслуживания (maintenance mode) для сервисов и компонент.
  Функционал включения «режима обслуживания», когда на объекте не выполняются действия, добавлен для компонент и сервисов. Данный функционал будет поддержан в следующих версиях продуктов Arenadata.
• Выгрузка action-логов пачкой.
  На странице Jobs появилась возможность скачать одной кнопкой архив с логами всех шагов, входящих в конкретное действие (action).
• Возможность переименования кластера без пересоздания объекта.
  Теперь можно изменить имя созданного кластера или хоста, если на нём не установлены продукты.

Исправления

• Ошибки в интеграции с LDAP.
  Теперь все пользователи синхронизируются в полном объёме с учётом необходимых фильтров.
• Ряд ошибок в интерфейсе и API.
  Исправлен ряд ошибок при работе интерфейса и API.

В следующем релизе

• Маскирование приватного SSH-ключа в окне настройки хоста.
  Приватный ключ будет отображаться «маской» в UI.
• Модальное окно с лицензионным соглашением.
  Перед установкой отдельных сервисов будет возможность выводить модальное окно с необходимостью подтвердить лицензионное соглашение, которое распространяется на данный сервис. Данный функционал должен быть поддержан в бандле.
• Возможность пропустить определённые шаги в процессе выполнения действия (action).
  Появится возможность пропустить определённые шаги, входящие в состав конкретного action.

Arenadata Streaming

Улучшения и новый функционал

• NiFi registry ranger plugin (доступно в ЕЕ).
  Добавлена поддержка плагина для NiFi registry. Инженеры смогут регулировать пользование сервисом NiFi registry из единой системы управления доступами. Теперь можно управлять как доступом к потокам данных в NiFi, так и доступом к бакетам для версионного контроля.
• Дополнительные конфигурации.
  Добавлена возможность управлять всеми параметрами из ADCM во всех конфигурационных файлах. Больше не нужно заходить на хост и править файлы вручную, всё регулируется из ADCM как для Kafka, так и для NiFi.

Следующий релиз

• Версия NiFi 1.18.
• Возможность регулировать доступ к KSQL, Schema Registry, Kafka REST.