Kafka Cruise Control — инструмент для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka. Он позволяет перераспределять нагрузку и обеспечивать высокую доступность подключений для кластера ADS: Kafka в случае сбоя брокеров. Сервис упрощает управление крупными кластерами, снижая накладные расходы на их поддержку.
«Cruise Control ориентирован на крупные высоконагруженные кластеры Kafka в инфраструктуре, критичной к отказам. В таких инсталляциях важно свести к минимуму время простоя, автоматизировать динамическую балансировку, восстановление и управление ресурсами для непрерывной работы и высокой производительности».
В новой версии реализована интеграция Kafka с модулем kTLS в ядре Linux, который обеспечивает аппаратное ускорение для обработки шифрования TLS (Transport Layer Security). Поддержка kTLS в Arenadata Streaming позволяет снизить нагрузку на CPU при выполнении шифрования, тем самым повышая производительность системы и скорость передачи защищённых данных.
В дистрибутив Arenadata Streaming теперь включён NiFi ADB Processor, предназначенный для высокоскоростной параллельной записи данных из ADS: NiFi в Arenadata DB (ADB), распределённую аналитическую СУБД на базе технологий Greenplum.
Доработан также и Iceberg Sink Connector — инструмент для интеграции с Iceberg-таблицами, позволяющий записывать потоковые данные из Kafka в таблицы Iceberg без сложных ETL-процессов. В новой версии коннектора добавлена поддержка режима UPSERT, необходимого для реализации полноценного CDC, а также Kerberos-аутентификации на стороне Arenadata Hyperwave (ADH), гибридной платформы данных.
Начиная с версии 3.9.0.1.b1 Arenadata Streaming совместим с операционной системой Astra Linux 1.7 — сертифицированной ОС со встроенными верифицированными средствами защиты информации (СЗИ).
Полный список изменений версии Arenadata Streaming 3.9.0.1.b1 доступен по ссылке.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.