Обзор продуктовых релизов за октябрь 2025 г.

В октябре были обновлены следующие продукты Arenadata: Arenadata Streaming (ADS), Arenadata Cluster Manager (ADCM), Picodata, Arenadata Hyperwave (ADH), Arenadata Platform Security (ADPS).

Arenadata Streaming (3.9.1.1. b1)

Новые сервисы

NiFi 2 2.5.0_arenadata1 — включён в дистрибутив как отдельный сервис, предназначен для ознакомления в режиме технологического превью и не рекомендован для продуктивного использования.

Что нового в NiFi 2

• Повышенная производительность и масштабируемость. Реализовано за счёт переработки ядра и оптимизации асинхронных операций, позволяет системе работать с большими объёмами данных без снижения скорости.
• Пользовательский интерфейс и управление. Интуитивно понятный интерфейс, ускоряющий настройку потоков данных, улучшенные средства мониторинга состояния потоков, обнаружения и устранения проблем.
• Безопасность. Улучшенная поддержка шифрования потоков данных, новые средства контроля доступа, расширенные возможности трекинга активности пользователей.
• Гибкая архитектура. Новые процессоры для работы с современными API, протоколами и форматами данных, упрощённое подключение собственных расширений, возможность запуска компонентов системы как отдельных сервисов.
• Поддержка облаков и контейнеризации. Глубокая интеграция с облачными платформами и простой запуск в Docker и Kubernetes.

Обновления версий сервисов

• Kafka и Kafka Connect обновлены до версии 3.9.1_arenadata1.
• Сервисы Confluent (Schema Registry, REST Proxy, ksqlDB) обновлены до версии 7.9.1.
• NiFi обновлён до версии 1.28.1_arenadata2.

Новая функциональность

• Реализована поддержка Альт СП (релиз 10).
• Расширена функциональность Iceberg Sink Connector: использование Single Message Transform (в режиме технологического превью), удаление строк в режиме UPSERT, новые параметры для извлечения операций CDC из входящей записи.
• Расширены возможности Cruise Control (новые типы аутентификации, возможность экспорта параметров в ADS Control).
• В NiFi реализован предварительно настроенный мониторинг, возможность автоматически создавать необходимые сервисы для интеграции с Kafka и Schema Registry, а также возможность настройки bootstrap-hashicorp-vault.conf с использованием ADCM.

Полное описание релиза >>

Arenadata Cluster Manager (2.8.0)

Основные изменения

• Реализована поддержка Ansible 2.16, что позволяет устранить уязвимости и повысить безопасность.
• Добавлена возможность размещения нескольких продуктов Arenadata на одном сервере (переиспользование хостов).
• В связи с переходом на новую архитектуру прекращена поддержка API v. 1.
• Реализована совместимость с Astra Linux 1.7.6 («Воронеж») и Альт СП (релиз 10).
• Сделан редизайн страницы конфигураций — интерфейс стал понятнее и удобнее для администраторов.

Полное описание релиза >>

Picodata (v. 25.4)

Добавлены новые возможности

• Аудит всех действий пользователей.
• Создание согласованной резервной копии кластера.
• Поддержка TLS-шифрования.
• Гибкое создание уникальных индексов для шардированных таблиц.

Новые функции повышают безопасность продукта и удобство его использования.

Полное описание релиза >>

Arenadata Hyperwave (4.1.0.b1)

1. Flink 2— решает известные ограничения Flink 1.x в области управления состоянием и обработки гибридных рабочих нагрузок. Новая версия объединяет множество улучшений для работы как в потоковых, так и в пакетных сценариях. Новый адаптивный планировщик автоматически оптимизирует параллелизм операций, повышая общую эффективность платформы. Реализована архитектура управления дезагрегированным состоянием, которая позволяет более эффективно использовать ресурсы в облачных средах, гарантируя высокопроизводительную обработку в реальном времени и сводя к минимуму затраты ресурсов.
2. Spark 4— содержит ряд архитектурных изменений и оптимизаций, нацеленных на повышение функциональности и производительности. В числе заявленных преимуществ — улучшенная производительность при выполнении сложных аналитических запросов, расширенная интеграция с Iceberg и другими современными форматами, новые функции для работы с потоковыми данными. Кроме того, в этой версии сервис активно развивается в сторону стандартизации подходов, предоставляя новую клиент-серверную архитектуру Spark Connect, развитие совместимости с ANSI SQL и другие улучшения. С детальным обзором Spark 4 можно ознакомиться в статье С. Габдулгазиева на «Хабре».
   Обратите внимание, что Flink 2 и Spark 4 предназначены для ознакомления в режиме технологического превью и в настоящее время не рекомендованы для продуктивного использования.
3. HAproxy для сервиса Trino— прокси-сервер и балансировщик нагрузки, применяется для обеспечения отказоустойчивости, масштабируемости и высокой доступности (принимает входящие запросы и равномерно распределяет их между узлами trino-координаторов).
4. Trino Client для сервиса Trino— инструмент для взаимодействия с кластером Trino, позволяет выполнять SQL-запросы и управлять соединениями.
5. Ozone Client для сервиса Ozone— консольный инструмент для взаимодействия с ozone-кластером.

Обновление версий сервисов

• Trino обновлён до версии 476_arenadata1.
  Релиз включает Trino OpenAPI-коннектор— инструмент для взаимодействия с REST API, позволяющий выполнять аналитические запросы к внешним сервисам и данным, доступным через REST API.
• Ozone — до версии 2.0.0_arenadata1.улучшенная архитектура хранения позволяет поддерживать большие объёмы данных и высокую нагрузку;новые алгоритмы для обработки метаданных ускоряют операции;обновлённые механизмы восстановления и отказоустойчивости;расширенная поддержка шифрования, аутентификации и контроля доступа.
• HUE — до версии 4.11.0_arenadata4.
• Kyuubi — до версии 1.10.1_arenadata2.
• Spark — до версии 3.5.4_arenadata2, а также ADB Spark connector — до версии 1.1.0-3.5.4_arenadata2.
• Hive — до версии 4.0.1_arenadata2.
• HBase — до версии 2.6.3_arenadata1.
• Phoenix — до версии 5.2.2_arenadata1, а также Phoenix Query Server — до версии 6.0.0_arenadata4.
• SSM — до версии 2.1.1.
• Solr — до версии 8.11.4_arenadata1.

Обновления сервисов, помимо изменений из апстрима, содержат ряд улучшений, доработок и багфиксов, выполненных командой разработки Arenadata.

Обновления позволили привнести в ADH следующие функциональные возможности.

Новая функциональность

• Новые операционные системы: Alt Linux 10 SP и Astra Linux 1.7 «Воронеж».
• Добавлена утилита для управления версией Java для всех сервисов.
• Преднастроены интерпретаторы HUE PySpark и HUE Flink 2, позволяющие управлять задачами через привычный веб-интерфейс и мониторить их выполнение в реальном времени.
• В мониторинг добавлены дашборды для сервисов Trino, Zeppelin, HBase, ZooKeeper, Solr.
• Доступна настройка и управление Observer NameNode в высокодоступном кластере HDFS — компонент, работающий параллельно с Active NameNode в режиме наблюдателя, что оптимизирует нагрузку на чтение.
• Добавлена возможность подготовки новых хостов (установки на них пакетов) после их добавления в кластер.
• Реализована возможность хранения паролей и учётных данных в формате JCEKS для сервиса Ozone.
• Сервис Trino теперь поддерживает политики HadoopSQL при интеграции с Ranger, что позволяет избежать дублирования настроек авторизации.
• Реализован OverwriteOnCommitProtocol для Spark3, обеспечивающий целостность данных при перезаписи таблиц или файлов.

Полное описание релиза >>

Arenadata Platform Security (2.0.0.b1)

Новые сервисы

Добавлен сервис OpenBao 2.3.2— система управления доступами к секретам и шифрованию. Обеспечивает возможности для хранения, генерации, шифрования, отзыва и аудита конфиденциальных данных (например, API-ключей, сертификатов, паролей), а также предоставляет средства аудита и управления политиками доступа.

Основные возможности

• Централизованное управление доступами к секретам — выступает как единая и безопасная система учёта доступов.
• Динамические учётные данные — генерирует учётные данные по запросу (например, может выдавать временный доступ к базе данных с определённым сроком действия).
• Срок действия и автоматический отзыв — все учётные данные пользователей и токены в OpenBao имеют срок действия, по истечении которого доступ автоматически отзывается, что обеспечивает ротацию учётных данных и снижает риски.
• Шифрование как сервис — предоставляет интерфейс для шифрования, расшифровки и вывода ключей без раскрытия самих ключей.
• Тонкая настройка контроля доступа — доступ к учётным данным и операциям контролируется политиками, следующими модели «запрещено по умолчанию», что гарантирует выполнение только явно разрешённых действий.
• Аудит и логирование — каждый запрос и ответ, проходящий через OpenBao, может быть зафиксирован устройствами аудита.

Обновления версий сервисов

Ranger обновлён до версии 2.6.0_arenadata2 с доработками, включающими поддержку ротации логов аудита HDFS и плагины hive-chained-plugin для HDFS и Ozone.

Новая функциональность

• Новые операционные системы: Alt Linux 10 SP и Astra Linux 1.7 «Воронеж».
• Реализовано кэширование данных LDAP-аутентификации для Knox.
• Добавлен компонент Resource mapping manager для сервиса Ranger, позволяющий сопоставлять ресурсы и права на них между Hadoop SQL и Storage (HDFS, Ozone) политиками.

Полное описание релиза >>