Arenadata Streaming (ADS) v.3.9.0.1.b1
Обновления версий сервисов:
1. Kafka и Kafka Connect — до версии 3.9.0_arenadata1.
2. Коннекторы Kafka Connect, входящие в поставку «из коробки»:
- Debezium Connector — до версии 3.1;
- Iceberg Sink Connector — до версии 1.6.1_arenadata2.
3. Schema Registry, Kafka REST Proxy, ksqlDB — до версии 7.9.0.
4. NiFi — до версии 1.28.0_arenadata2.
Новые возможности:
1. Включили в поставку новый компонент Kafka Cruise Control, предназначенный для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka.
2. Реализовали интеграцию Kafka с модулем kTLS в ядре Linux, что позволяет снизить нагрузку на CPU при выполнении шифрования, повысить производительность и скорость передачи защищённых данных.
3. Доработали Iceberg Sink Connector: добавлена поддержка режима UPSERT для реализации CDC и kerberos-аутентификации на стороне Arenadata Hyperwave.
4. Разработали собственный NiFi ADB Processor для высокоскоростной параллельной записи данных в Arenadata DB. NB: функциональность предоставляется в режиме technology preview и не рекомендована для продуктивного использования.
5. Добавили совместимость с новой операционной системой — Astra Linux 1.7 SE «Воронеж».
6. Реализовали режим обслуживания (maintenance) для бандла.
Прочие доработки и багфиксы — на портале документации.
Arenadata Streaming Control (ADSC) v2.5.0.b1
Новые возможности:
1. Добавлена возможность просмотра списка схем, связанных с топиком.
2. Добавлена проверка схемы при её создании.
3. Реализована поддержка аутентификации SASL_PLAINTEXT в ADS.
Улучшения затронули вкладку Messages для топика:
1. Добавлена прокрутка в список значений для фильтра Partition.
2. Чтение сообщений разделено на две вкладки: Batch (пакетное) и Streaming (потоковое).
3. Оптимизировано потоковое чтение.
4. Сообщения (значения и ключи) в формате JSON теперь отображаются в удобном для восприятия человеком виде.
Прочие доработки и багфиксы — на портале документации.
Arenadata Cluster Manager (ADCM) v2.7.0
Ключевые изменения:
- Добавлена возможность создания «ревизии» конфигурации. Разработан плагин adcm_manage_revision, который позволяет проверять и выявлять изменения конфигурационных параметров объектов.
- Усовершенствовано управление флагами. Доработано управление флагами в рамках ADCM для более гибкого управления продуктами во время выполнения различных действий с кластером.
- Обновлена схема API v2. Обновление схемы API v2 для её приведения в согласованное состояние позволяет улучшить опыт использования API ADCM.
- Прекращена поддержка SQLite. В целях оптимизации работы ADCM и возможного дальнейшего расширения его функционала полностью завершён переход на использование PostgreSQL (ADPG) в качестве служебной СУБД.
Arenadata One (AD.ONE) v1.2.0
Ключевые изменения в релизе:
- исключение зависимости дистрибутива от управляемых сервисов облака VK;
- поддержка развёртывания Arenadata One в облаке Selectel;
- улучшения и доработки в core- и OLAP-компонентах платформы.
Подробности:
AD.ONE OLAP Edition
- поддержка изменения конфигурации Ranger;
- возможность создания и изменения конфигурации Spark;
- изменение LDAP-конфигурации JupyterHub;
- поддержка многопользовательского режима в Kyuubi;
- поддержка переназначения в Kyuubi Ranger plugin;
- создание Spark /Spark SQL / Trino больше не ведёт к автоматическому созданию предопределённых каталогов / spark-history в S3;
- реализация коммунального сервиса Ranger.
AOne Core:
- реализована страница профиля пользователя;
- настроено назначение прав доступа к проекту для групп;
- выполнена отвязка AOne от Arenadata Registry;
- выполнена отвязка Argo CD от Arenadata GIT;
- выполнена отвязка AOne от Arenadata Keycloak;
- реализована конфигурация cloud-specific-опций без привязки к VK.
Arenadata Prosperity (ADP) v4.0
Ключевые изменения:
- Улучшили производительность и надёжность. Добавили поддержку геораспределённых и катастрофоустойчивых кластеров (Disaster Recovery), обновили ядро PostgreSQL до версии 17.5, внедрили механизм шардирования и более 160 доработок, повышающих стабильность и скорость работы платформы.
- Обновили ядро и компоненты кластера. Перешли на PostgreSQL 17.5 для ускорения и расширенной совместимости. Добавили новые версии Patroni, HAProxy, etcd и WAL-G 3.0.7, что повысило эффективность бэкапов до двух раз.
- Расширили возможности отказоустойчивости. Реализовали развёртывание географически распределённых кластеров с автоматическим переключением на резервную площадку при сбоях. Функция доступна даже в базовой редакции продукта.
- Добавили шардирование данных. Интегрировали расширение Citus для распределения таблиц по нескольким узлам и масштабирования СУБД под большие объёмы данных и высокие нагрузки.
- Упростили администрирование. Расширили возможности веб-интерфейса (VACUUM, REINDEX, ANALYZE, автоперезапуск кластерного юнита), провели ребрендинг UI и улучшили обработку ошибок для удобной работы администраторов.
- Расширили список поддерживаемых платформ. Теперь ADP 4.0 официально работает на Astra Linux 1.8.2, «РЕД ОС 8» и Debian 12, что даёт больше гибкости при развёртывании.
- Исправили ошибки и усилили защиту. Внесли свыше 160 улучшений, включая оптимизацию контроля целостности, исправления ошибок и защиту от некорректных действий пользователей, что повысило стабильность системы.
Picodata (PD) v25.3
Ключевые изменения:
- Улучшили обратную совместимость. Реализовали автоматическое обновление схемы данных при переходе на новый релиз Picodata. Все необходимые DDL/DML-команды выполняются без участия администратора, а внутренние функции создаются автоматически.
- Добавили новые возможности SQL. Расширили язык SQL:
- поддержка NULLS FIRST/LAST в ORDER BY;
- новые режимы ON CONFLICT при вставке данных;
- оконная функция LAST_VALUE();
- оператор % для целых чисел;
- функции для определения лидера raft-группы и версии инстанса;
- новая функция pico_instance_uuid (вместо устаревшей instance_uuid).
- Улучшили совместимость с PostgreSQL. Поддержали безопасное TLS-соединение при аутентификации через LDAP-протокол PostgreSQL. Настройка выполняется с помощью трёх переменных окружения.
- Добавили новый параметр конфигурации. Появился параметр instance.pg.advertise, который позволяет задать публичный адрес подключения по PostgreSQL, отличный от внутреннего.
- Обновили веб-интерфейс. Расширили панель Cluster ID (отображение плагинов), добавили адрес подключения по PostgreSQL в сведения об инстансе, сделали интерфейс удобнее и информативнее.
- Ослабили требования к плагинам. Разрешили подключение плагинов с несовпадающими минорными версиями с инстансом (например, 25.3.1 совместим с 25.3.2).
- Обновили ansible-роль. Добавили опцию исключения snap/xlog при сборке crash_dump, возможность выполнять lua-команды на инстансах, улучшили работу с плагинами и исправили ошибки.
Golang-коннектор
Picodata-go — первая версия коннектора к СУБД Picodata для использования в приложениях на языке Go. Новый коннектор позволяет использовать picodata-go как прямую замену pgx и PostgreSQL без необходимости переписывать существующий код.
Новые возможности:
- Добавлена поддержка автоматического обнаружения инстансов. Достаточно указать адрес одного узла кластера, и драйвер сам наполнит пул соединений на основе всей топологии.
- Улучшена балансировка нагрузки с публичным API. В коннекторе несколько стандартных стратегий балансировки уже доступны «из коробки». Также создан API для реализации и использования собственных алгоритмов.
- Добавлено коннектор следит за состоянием кластера и его топологией и автоматически добавляет или удаляет подключения к инстансам из пула при его изменении без вмешательства разработчика.