7 октября 2026Обзор продуктовых релизов за август и сентябрь 2026 года
Группа Arenadata в августе и сентябре выпустила обновления ряда продуктов платформы данных. Изменения коснулись Arenadata Streaming (ADS), Arenadata Prosperity (ADP), Arenadata Hyperwave (ADH), ADH Cloud, Arenadata DB (ADB), Picodata (PD), Arenadata Orchestrator (ADO) и Arenadata Cluster Manager (ADCM).
Arenadata Streaming 4.1.0
В новой версии Arenadata Streaming добавлены инструменты отслеживания происхождения данных, отказоустойчивость (НА) сервисов и поддержка новых версий российских операционных систем. Обновлено решение для управления кластерами потоковой передачи ADS Control.
Ключевые изменения:
- добавлен механизм сопоставления топиков Kafka с целевыми таблицами (topic-to-table mapping) в Iceberg Sink Connector;
- добавлена поддержка репортера OpenMetadata в Kafka Connect и Iceberg Sink Connector для автоматической фиксации происхождения и структуры данных при их передаче в lakehouse-таблицы;
- реализован режим высокой доступности с балансировкой нагрузки через встроенный HAProxy для Schema Registry и Kafka REST Proxy;
- обеспечена поддержка Rolling Upgrade и Rolling Restart в Schema Registry и Kafka REST Proxy для проведения планового обслуживания без остановки сбора данных;
- добавлена поддержка сертифицированной редакции РЕД ОС 8 и Astra Linux 1.8.6;
- NiFi 2 переведён из режима технического превью и рекомендован для использования в производственной среде;
- реализована поддержка плагина Ranger для NiFi 2 в составе Arenadata Platform Security;
- обновлены версии сервисов экосистем Kafka и NiFi и коннекторов Debezium.
В ADS Control 2.7.2 добавлена совместимость с РЕД ОС 8 и Astra Linux 1.8.6.
Полное описание релиза Arenadata Streaming 4.1.0
Полное описание релиза ADS Control 2.7.2
Arenadata Prosperity 16.13.2
В новой версии Arenadata Prosperity расширены возможности аналитической обработки данных, безопасности и администрирования. Вместе с этим управляющий компонент ADPES был обновлён до версии 2.1.0.
Ключевые изменения:
- добавлено расширение pg_duckdb в состав ADP для использования аналитического движка DuckDB непосредственно в PostgreSQL и выполнения SQL-запросов к parquet- и CSV-файлам без предварительной загрузки данных в таблицы;
- расширены возможности безопасности за счёт внедрения новых кластерных действий, политики управления паролями и аудитом, настройки проверки целостности и возможности принудительного использования SCRAM-SHA-256;
- обновлены компоненты PgBouncer и HAProxy до версий 1.25.2 и 3.4 соответственно;
- увеличен набор PostgreSQL-расширений, в том числе за счёт pg_cron, pg_hint_plan, hypopg, mysql_fdw, oracle_fdw и других модулей;
- добавлена поддержка Astra Linux SE 1.8.6 и сертифицированной редакции РЕД ОС 8.0.
В управляющем компоненте появились Session Manager для работы с пользовательскими сессиями и новые возможности Backup Manager. Теперь можно создавать точки восстановления, отслеживать прогресс операций Backup и Restore, а также получать дополнительную информацию о резервных копиях — дату последней проверки и продолжительность операции.
Обновление расширяет сценарии использования ADP для смешанных транзакционных и аналитических нагрузок и одновременно упрощает эксплуатацию и резервное копирование кластеров.
Arenadata Hyperwave 4.4.0
Новая версия Arenadata Hyperwave расширяет возможности построения современных архитектур данных. Ключевыми изменениями стали интеграция OLAP-движка StarRocks и поддержка табличного формата Apache Paimon 2.0.
Ключевые изменения:
- StarRocks позволяет выполнять быстрые SQL-запросы к большим объёмам данных;
- сервис поддерживает интеграцию с Ranger, а также kerberos-аутентификацию и имперсонацию пользователей при работе с внешними каталогами Iceberg и Hive;
- Apache Paimon интегрирован со Spark 3 и 4, Hive, Trino (через предустановленный каталог) и Flink;
- Spark 4 поддерживает удалённое подключение через Spark Connect на базе Kyuubi;
- Kyuubi обладает поддержкой профилей, позволяющей параллельно выводить новую версию Spark, не прерывая работу пользователей на предыдущей, и безопасно управлять такими переходами;
- интеграция с Kyuubi Arrow Flight SQL ускоряет аналитические запросы и открывает доступ для клиентов, которым нужны протоколы ODBC и ADBC;
- Flink 2 обладает нативной поддержкой таблиц Iceberg;
- Trino ADB Connector поддерживает распределённое чтение и запись, а также прямой перенос текстовых фильтров (text pushdown);
- Smart Storage Manager включает функцию фильтрации событий при репликации между кластерами, что позволяет снизить нагрузку на сеть и делает репликацию более гибкой и управляемой.
Дополнены функции безопасности: коннекторы Trino получили интеграцию с OpenBao, добавлена поддержка TLS 1.3, а в ZooKeeper появились параметры для включения TLS и SASL.
Arenadata Hyperwave 4.4.0 поддерживает РЕД ОС 8.0 (сертифицированная редакция), Astra Linux 1.8.6 и новую систему мониторинга Arenadata Monitoring (ADM) 5.0.
Обновлена подсистема безопасности Arenadata Platform Security: в ней также появилась поддержка новых версий российских ОС и агент vmagent для автоматической передачи преднастроенных дашбордов в ADM 5.0.
Полное описание релиза Arenadata Hyperwave 4.4.0
Полное описание релиза Arenadata Platform Security 2.3.0
ADH Cloud 1.4.0
Новая версия модуля ADH Cloud продолжает развитие Arenadata Hyperwave в Kubernetes. В релизе 1.4.0 основной акцент сделан на работе Apache Spark в контейнерной среде.
Ключевые изменения:
- разработан оператор Spark для Kubernetes, покрывающий полный жизненный цикл приложений — от развёртывания и масштабирования до очистки ресурсов;
- интегрирован планировщик ресурсов YuniKorn, позволяющий управлять очередями задач и распределением ресурсов между командами и пользователями;
- реализована поддержка аутентификации Kerberos, SPNEGO и LDAP для веб-интерфейса YuniKorn;
- добавлен Celeborn — удалённый shuffle-сервис для Spark в Kubernetes, позволяющий переносить высоконагруженные операции с локальных дисков во внешние хранилища, включая HDFS, Ozone (ofs) и S3;
- появился Spark History Server для хранения и просмотра истории выполнения приложений Spark;
- реализована интеграция с Prometheus и VictoriaMetrics для сбора метрик состояния оператора Kerberos;
- добавлена поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape для сбора метрик компонентов;
- разработан механизм использования предварительно созданных секретов Kubernetes с централизованным хранением для Trino, Impala, Spark, YuniKorn и Celeborn;
- расширены возможности Arenadata Cloud CLI, в том числе появилась команда adc list для быстрого просмотра состояния инфраструктуры.
Релиз позволяет гибко и изолированно масштабировать аналитические нагрузки Spark в облачной инфраструктуре, при этом данные продолжают оставаться в защищённом контуре базовой ADH.
Arenadata Orchestrator 3.0.0
В Arenadata Orchestrator расширены аналитические возможности и упрощён переход на следующее поколение Airflow. Одно из главных изменений — интеграция in-process-аналитической СУБД DuckDB.
Ключевые изменения:
- DuckDB интегрирована в состав дистрибутива для выполнения трансформации данных без развёртывания внешнего кластера;
- добавлены интеграции DuckDB с HDFS, Ozone (ofs) и Hive Metastore для бесшовной работы с данными в экосистеме Arenadata;
- добавлено расширение, позволяющее централизованно хранить persistent secrets DuckDB в HashiCorp Vault или OpenBao вместо локального хранения на хосте;
- обновлено ядро оркестратора до версии Airflow 3.2.1;
- создана утилита Airflow Migration Helper, которая проверяет DAG на типичные несовместимости и помогает подготовить их к миграции на Airflow 3;
- реализован HA-режим для Airflow API Server и добавлен компонент Airflow HAProxy для балансировки нагрузки и высокой доступности компонентов управления;
- внедрена поддержка передачи метрик через vmagent в централизованную систему мониторинга на базе VictoriaMetrics;
- добавлена поддержка сертифицированной редакции РЕД ОС 8 и Ubuntu 24.04 LTS.
DuckDB позволяет выполнять часть аналитических операций непосредственно в задачах конвейера, снижая инфраструктурные затраты. Обновление Airflow и инструменты миграции при этом упрощают переход существующих процессов на новую мажорную версию.
Arenadata DB 7.5.0
В новой версии Arenadata DB значительно расширены возможности управления топологией кластера, работы с современными форматами данных и мониторинга. Обновления также затронули ADB Control и ADBM в составе ADB Enterprise Services 1.2.0.
Ключевые изменения:
- внедрение механизма Manage Rebalance на основе утилиты ggrebalance, позволяющего изменять топологию работающего кластера (добавлять и удалять хосты, уменьшать число сегментов и менять схему размещения зеркал без переустановки кластера);
- добавление поддержки чтения и записи таблиц в формате Apache Iceberg во фреймворк PXF;
- перевод мониторинга ADB 7 с Diamond на Prometheus, а также добавление поддержки Greengage Exporter;
- включение PgBouncer в состав ADB для управления пулом подключений;
- реализация поддержки LDAPS для защищённого соединения с LDAP-серверами;
- добавление возможности выбирать алгоритм шифрования паролей (MD5 или SCRAM-SHA-256);
- реализация поддержки Astra Linux 1.8.4 и сертифицированной редакции РЕД ОС 8.0.
В ADB Control появилась настройка лимитов и статистика операций ввода-вывода для ресурсных групп ADB 7. Также добавлен мониторинг блокировок на уровне запросов и транзакций.
В ADBM оптимизированы процессы резервного копирования и восстановления: система может сравнивать файлы по размеру и времени изменения вместо расчёта контрольных сумм и полной перезаписи. Появилась настройка порядка очистки бэкапов, а при частичном восстановлении перечень таблиц теперь можно указывать в виде списка в текстовом файле.
Релиз делает эксплуатацию ADB 7 более гибкой: топологию можно адаптировать к изменяющейся нагрузке без переустановки кластера, а новые инструменты мониторинга и резервного копирования упрощают работу с крупными инсталляциями.
ADB Enterprise Services 1.2.0
В новой версии ADB Enterprise Services расширена поддержка российских операционных систем, а также обновлены компоненты ADB Control и ADBM. Основные изменения связаны с мониторингом ресурсных групп, контролем блокировок и оптимизацией операций резервного копирования и восстановления.
Ключевые изменения:
- добавлена поддержка Astra Linux 1.8.6 «Воронеж», что расширяет возможности развёртывания продуктов Arenadata на российских операционных системах;
- реализована настройка лимитов и отображение статистики по операциям ввода-вывода (I/O) для ресурсных групп ADB 7 в ADB Control 4.18.1 (как в текущий момент, так и в динамике);
- добавлен мониторинг событий ожидания типа Lock на уровне запросов и транзакций в ADB 7, а также отображение соответствующей статистики;
- обеспечена возможность в ADBM 2.14.0 при плановом резервном копировании и восстановлении сравнивать файлы по размеру и времени изменения вместо расчёта контрольных сумм и полной перезаписи, что позволяет снизить потребление ресурсов;
- добавлен режим Target only для очистки резервных копий, с помощью которого можно удалить выбранную точку восстановления и зависящие от неё бэкапы без применения общей политики очистки;
- изменена логика отображения действий кластерных групп — теперь учитываются только операции, выполненные в период, когда кластер действительно входил в конкретную группу.
Обновление упрощает эксплуатацию крупных инсталляций ADB: администраторы получают больше данных о нагрузке и блокировках, а резервное копирование и восстановление требуют меньше вычислительных ресурсов.
Picodata 26.2.1
Новая версия СУБД Picodata получила крупный набор изменений в SQL, репликации и управлении конфигурацией.
Ключевые изменения:
- расширены возможности транзакционных блоков в SQL;
- добавлена поддержка типа данных ARRAY;
- переработана работа команды EXPLAIN;
- реализована синхронная репликация для шардированных таблиц;
- появились дополнительные параметры конфигурации.
Начиная с ветки 26.2 команда Picodata также переходит к публикации релиз-кандидатов. Это позволяет собирать обратную связь до выхода финальной версии и повышать стабильность итоговых релизов.
Также вышла новая версия python-драйвера для работы с Picodata.
В Picopyn 2.0 реализовано автоматическое определение узлов кластера и более эффективная маршрутизация запросов с учётом шардирования. При изменении топологии драйвер автоматически перестраивает пул соединений.
Также улучшена работа с соединениями: реализовано корректное завершение асинхронного пула и автоматическое закрытие соединений при использовании синхронного API.
Версия Picopyn 2.0.0 совместима с Picodata 26.1.1 и выше.
Arenadata Cluster Manager 3.0
В новой версии Arenadata Cluster Manager обновлены механизмы автоматизации, усилена безопасность и расширены возможности работы с крупными кластерами.
Ключевые изменения:
- добавление поддержки Ansible 2.21 и прекращение поддержки устаревших Ansible 2.8 и 2.9;
- перевод всех процессов внутри docker-контейнера ADCM на запуск от непривилегированного пользователя;
- появление нового режима Widget view на странице Clusters, позволяющего быстрее оценивать состояние кластеров;
- прекращение поддержки устаревших contract_version 1.0 и 2.0;
- расширение возможностей API и механизма выполнения действий, включая функцию service_manage для управления сервисами внутри action;
- внедрение в интерфейс массовых операций с хостами, упрощающих работу с крупными инсталляциями.