Обзор продуктовых релизов за сентябрь — октябрь 2023 года

Arenadata Cluster Manager (ADCM)

• добавлена опция сбора неконфиденциальной информации о кластерах;
• реализован механизм проверки подписи бандла (bundle signature), что позволяет предварительно проверить и убедиться в безопасности использования вендорских плейбуков. Все новые версии бандлов продуктов Arenadata будут подписаны электронной подписью;
• ролевая модель основана на группах вместо пользователей;
• поддержан предварительный релиз API v2. Однако поскольку он находится на стадии альфа-версии, его возможности могут подвергнуться дальнейшей корректировке. Поэтому мы не рекомендуем использовать релиз API v2 в производственных средах;
• реализована возможность добавления невидимых полей для типа конфигурационных параметров structure;
• для action с типом task добавлена поддержка config_jinja.

Arenadata Streaming (ADS)

• поддержка российской операционной системы РЕД ОС 7.3. Таким образом был расширен перечень поддерживаемых ADS операционных систем, который, помимо РЕД ОС 7.3, теперь включает: Centos 7.6.1810, RHEL 7.6, AltLinux 8.4 SP, Astra Linux 1.7 «Орёл» SE c Axiom JDK;
• реализовано шифрование параметров конфигурации NiFi, призванное повысить защищённость кластера;
• обновление NiFi до версии 1.20, благодаря чему добавились дополнительные процессоры и был устранён ряд проблем, связанных с информационной безопасностью;
• добавлена возможность более гибкой настройки сервиса Kafka-Manager, включая конфигурацию переменных окружения и логирование.

Arenadata Hadoop (ADH)

• поддержка Apache Impala — распределённой системы исполнения SQL-запросов в экосистеме Hadoop. Сервис предназначен для интерактивной обработки данных на сверхбольших объёмах данных и открывает доступ к новым сценариям использования, требующим высокой скорости исполнения запросов;
• режим высокой доступности сервисов Hadoop (High Availability) теперь включается по умолчанию при добавлении компонентов, что позволяет повысить отказоустойчивость кластера;
• добавлен ADB Spark Connector с поддержкой Spark3, обеспечивающий высокоскоростной параллельный обмен данными с Arenadata DB;
• улучшен функционал керберизации: добавлено гибкое управление Kerberos (отключение, включение, конфигурация);
• реализован режим обслуживания (Maintenance mode) для сервисов, хостов и компонентов.