Обзор продуктовых релизов за октябрь

Arenadata Cluster Manager v.2.4.0

Ключевые изменения:

• Добавлена сортировка хостов по статусу (state) в UI. Улучшены возможности и удобство отображения хостов в интерфейсе ADCM. Расширены настройки логирования.
• Реализована возможность настройки уровней логирования событий.
• Реализована возможность настройки параметров логирования uWSGI и настройка ротации логов.
• Расширена логика APIv2 для создания, удаления и влияния проблем (concerns).
• Оптимизирован код аудита.
• Улучшена производительность выполнения задач аудита.
• Исправлена автоматическая перезагрузка страницы конфигурации сервиса.

Обратите внимание, что начиная со следующей версии ADCM 2.5.0 минимально поддерживаемой версией PostgreSQL будет 14.х.

Полное описание релиза.

Arenadata Postgres v.16.3.1

Ключевые изменения:

• Обновлена версия PostgreSQL до 16 и обеспечена миграция с версии ADPG 14.3.8 при использовании инструмента pg_upgrade с линковкой файлов данных. За счёт этого простой системы при обновлении минимизирован.
• Добавлена поддержка новой ОС Ubuntu, что даёт возможность установить ADPG на Ubuntu 22.04.3 LTS.
• Добавлены динамические URL-адреса для сервисов ADPG. Теперь можно из Arenadata Cluster Manager (ADCM) по прямой ссылке перейти в Grafana-дашборды, на страницу статистики балансировщика или в patroni REST API.

Полное описание релиза.

Arenadata Streaming v.3.6.2.1.b1

Ключевые изменения:

• Разработан новый плагин kafka-rest-security, предназначенный для авторизации в сервисе Kafka REST Proxy. Он позволяет разграничивать доступ пользователей Kafka REST Proxy к топикам Kafka.
• Реализована поддержка Java 17 — версия с долгосрочной поддержкой (long-term support). Появилась возможность получать обновления, в том числе безопасности, в течение длительного времени. Версия содержит множество улучшений, позволяющих повысить производительность и безопасность приложений, а также внедрить новые сервисы ADS.

Обратите внимание, что Java 17 используется по умолчанию начиная с текущей версии. Перед обновлением или установкой ADS в операционных системах CentOS, RedHat и Astra Linux необходимо вручную установить Java 17 и настроить переменную JAVA_HOME.

Обновления сервисов:

• Kafka и Kafka Connect — до версии 3.6.2.
• NiFi и MiNiFi — до версии 1.26.0.
• Schema Registry, Kafka REST Proxy и ksqlDB — до версии 7.6.2.
• Zookeeper — до версии 3.8.4.

Другие улучшения:

• Обновлена конфигурационная страница сервиса Kafka: улучшено размещение параметров.
• Добавлена возможность изменять /etc/kafka/conf/core-site.xml при включении плагина Ranger.
• Все пользовательские параметры, введённые с помощью полей Add key, value, перезаписывают существующие параметры.
• Исправлена ошибка при подключении групп LDAP и политик NiFi.

Полное описание релиза.

Arenadata Streaming Control v.2.3.0.b1.

Ключевые изменения:

• Реализованы новые вкладки для страницы Topics: Messages позволяет читать сообщения из топика, а также записывать сообщения в топик; Consumer groups отображает группы потребителей, подключённые к топику.
• Реализована страница обзора и управления группами потребителей Consumer groups.
• Поддержка РЕД ОС.

Другие улучшения:

• Добавлена группа конфигурационных параметров Advanced docker settings для управления установкой пакета Docker перед установкой кластера ADS Сontrol.
• Прочие доработки и исправления багов.

Полное описание релиза.

Arenadata Catalog v 0.7.3

Каталог данных:

• Обновлён интерфейс профилировщика данных для строковых метрик.
• Реализована поддержка загрузки примера данных для бинарных типов.
• Добавлен коннектор к Picodata: импорт метаданных.

Бизнес-глоссарий:

• Добавлена возможность фильтрации во вкладке «Связанные объекты» в карточке объекта глоссария.
• Улучшена производительность импорта данных.

Другие улучшения:

• Реализована синхронизация с сервисами внешней аутентификации при завершении сессии в ADC.
• Оптимизированы шаблоны почтовых уведомлений

Полное описание релиза.

Arenadata Catalog v 0.7.4

Бизнес-глоссарий:
Добавлена возможность обновления и удаления связей с объектами каталога данных через импорт.

Другие улучшения:
Реализована интеграция с FreeIPA для получения групп пользователей.

Полное описание релиза.

Arenadata QuickMarts v.24.3.11.7

Ключевые изменения:

• Обновлена версия ClickHouse до 24.3.11.7 LTS в составе продукта ADQM.
• Доработана реализация операции отмены обновления кластера (действие Abort the upgrade). Теперь она включает шаг удаления пакетов ADQM для её корректного завершения.

Полное описание релиза.

Picodata

Добавлен Radix — плагин к Picodata, который расширяет возможности использования Picodata и позволяет обращаться к кластеру СУБД по бинарному протоколу Redis*. Основная идея Radix — предложить drop-in-замену инсталляциям Redis. При включении плагина инстанс Picodata поднимает совместимый с Redis сервер, благодаря чему пользователи могут работать с кластером Picodata, как если бы это был Redis. Например, для подключения можно использовать клиент redis-cli.

Подробное описание плагина Radix.

* Redis (от англ. remote dictionary server) — резидентная система управления базами данных класса NoSQL, работающая со структурами данных типа «ключ — значение». Используется как для баз данных, так и для реализации кэшей, брокеров сообщений. Изначально выпускалась под свободной лицензией, с 2024 года — под лицензией SSPL.

Picodata v.24.6

Ключевые изменения:

• Добавлены тиры — группы инстансов с собственным фактором репликации, которые позволяют группировать инстансы по функциональному назначению и работать с разными группами хранения. В рамках отдельных тиров данные шардируются независимо друг от друга. Для каждой шардированной таблицы определена принадлежность к конкретному тиру.
• Добавлена полноценная поддержка плагинов на Rust, что позволяет реализовать практически любую бизнес-логику в виде распределённых приложений, которые работают с данными в Picodata. Для управления плагинами используется язык SQL. Рабочие объекты плагина (таблицы и т. д.), составляющие его схему данных, создаются и удаляются при помощи наборов SQL-команд, которые названы миграциями. В Picodata 24.6 команда продукта представляет механизм управления плагинами, а также инструкции по работе с ними, включая руководство по написанию плагинов с помощью крейта picodata-plugin, который выступает в роли SDK.

Другие улучшения:

• Реализована поддержка новых операторов LIKE и ILIKE в SQL, приведения результатов к нижнему (lower) и верхнему (upper) регистрам в SQL, а также SELECT без обращения к таблицам, например select 1.
• Добавлена проверка отсутствия в СУБД (IF NOT EXISTS), а при удалении — наличия (IF EXISTS) при создании объектов в SQL.
• Реализован метод аутентификации MD5 (вместо CHAP-SHA1) при создании пользователей и при подключении к консоли Picodata.
• Для команд picodata connect и picodata expel реализован параметр – -timeout, задающий время ожидания ответа.
• Добавлена новая точка входа .proc_get_vshard_config в RPC API, которая позволяет узнать параметры шардирования тира.
• При вводе команд SQL теперь по умолчанию используется разделитель, который не требуется отдельно объявлять.
• Улучшена роль Picodata для Ansible, позволяющая удобно управлять распределённым кластером с помощью языка скриптов. С picodata-ansible доступны все возможности, включая работу с тирами и развёртывание плагинов, а также многие дополнительные функции, например управление инстансами через supervisord вместо systemd.

Полное описание релиза.

Arenadata Hadoop v3.3.6_arenadata1_b1

Обновление версий компонентов:

• HDFS 3.3.6_arenadata1;
• Hive 4.0.0_arenadata1;
• Impala 4.4.0_arenadata2;
• Spark 3.5.2_arenadata1;
• Iceberg 1.5.2_arenadata1;
• SSM 2.0.0-alpha;
• Kyuubi 1.9.2_arenadata1;
• Tez 0.10.3_arenadata1;
• Flink 1.19.1_arenadata1;
• HBase 2.5.10_arenadata1;
• Phoenix 5.2.0_arenadata1;
• Solr 8.11.3_arenadata1;
• Zookeeper 3.8.4_arenadata1;
• ADQM Spark connector 1.0.0_3.5.2;
• ADB Spark Connector 1.0.5_3.5.2;
• ADPG 16.

Новые функции:

• Реализована поддержка операционной системы Ubuntu 22.04.2 LTS.
• Добавлено новое кластерное действие — Manage Credential Encryption, которое позволяет шифровать конфиденциальные данные в конфигурационных файлах сервисов HDFS, YARN, Hive, HBase, Spark, Impala, Zeppelin, Kyuubi и Solr.
• Реализована возможность активации протокола SSL/TLS для межкомпонентной коммуникации внутри сервиса Flink.
• Реализована поддержка HUE SPNEGO.
• Добавлены новые коннекторы и форматы для Flink (расширения Flink Kafka, Flink Iceberg и Flink Hive, форматы parquet, orc, avro, protobuf).
• В ADM добавлена настройка логирования для Livy.
• Добавлен параметр-чекбокс Custom nginx.conf с шаблоном для сервиса Hive.
• Реализовано отображение параметров HDFS proxyusers явным образом.

Основные улучшения:

• В Hive реализовано использование ADPG в качестве хранилища метаданных по умолчанию.
• Актуализирована конфигурации Flink.
• Заменены действия Add, Remove, Shrink, Expand и Move на одно действие Add/Remove components для Spark2, Spark3, Hive и YARN.

Полное описание релиза.

Arenadata Platform Security v1.2.0.b1

Ключевые изменения:

• Добавлены поддержка Ubuntu 22.04.2 LTS и проверка на конфликты портов, которая выполняется перед запуском некоторых действий.
• Действия Add, Remove, Shrink, Expand и Move заменены на одно действие Add/Remove components для Ranger.

Обновление версий компонентов:

• Knox 2.0.0_arenadata1.
• Ranger 2.5.0_arenadata1: добавлена поддержка Hive 4.0.0, реализованы плагины Ranger ADSC и Ranger SSM, добавлена возможность указывать регулярное выражение для валидации пароля.
• Solr 8.11.3_arenadata1.
• Zookeeper 3.8.4_arenadata1

Полное описание релиза.