Релиз Arenadata Streaming: интеграция с Ozone и обновление технологической платформы

Ключевое улучшение версии — поддержка сервиса Ozone, входящего в состав гибридной платформы Arenadata Hyperwave. Интеграция позволяет использовать масштабируемое объектное хранилище для задач потоковой обработки. Теперь можно записывать данные из Kafka в iceberg-таблицы с помощью Iceberg Sink Connector, а также передавать «холодные» данные, требующие длительного хранения, в более экономичное S3-хранилище с помощью опции Kafka Tiered Storage.

Начиная с новой версии Arenadata Streaming режим Kafka Raft (KRaft) доступен для использования в производственных средах. Протокол согласования KRaft предназначен для управления метаданными внутри Kafka, что позволяет устранить зависимость от внешнего сервиса (ZooKeeper), упростить работу с Kafka, сократить целевое время восстановления системы (RTO) и кратно увеличить доступное число партиций, поддерживаемых одним кластером. Для поддержки режима KRaft в новой версии ADS улучшена работа сервиса Monitoring.

Расширены возможности NiFi 2¹: в Monitoring добавлен дашборд с метриками этого сервиса. Кроме того, в релизе оптимизированы операции с кластером и сервисами: сокращено время выполнения операций запуска, остановки и перезапуска кластера, а также время выполнения перезапуска Kafka.

Обновления затронули и технологическую основу продукта. Дистрибутив Arenadata Streaming переведён на Java 21 для сборки и работы всех сервисов и использует Ansible 2.16. Это позволит повысить производительность, стабильность и безопасность, а также подготовить инфраструктуру к будущим обновлениям поддерживаемых операционных систем.

Александр Анисимов

Технический руководитель продукта Arenadata Streaming

«В новой версии Arenadata Streaming мы сфокусировались на расширении интеграций и укреплении технологического фундамента платформы. Поддержка Ozone из экосистемы Arenadata Hyperwave позволит нашим клиентам создавать эффективные гибридные решения, объединяя потоковую обработку с lakehouse-архитектурами. Переход на Java 21 и Ansible 2.16 — шаг для обеспечения долгосрочной актуальности и безопасности».

Полный список изменений версии Arenadata Streaming 3.9.1.2.b1 доступен по ссылке.

Возможности Arenadata Streaming

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет:

• в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
• в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
• хранить потоки записей отказоустойчивым долговечным способом;
• разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.