В релизе Arenadata Streaming обновлены версии Kafka, Kafka Connect, Schema Registry, Kafka REST Proxy и ksqlDB. Апгрейд позволяет привнести в систему новую функциональность, улучшить производительность, оптимизировать работу с большими объёмами данных и расширить поддержку Kafka Raft (KRaft).
В релиз включён Iceberg Sink Connector — компонент, обеспечивающий надёжную и эффективную запись потоковых данных из Kafka в таблицы Apache Iceberg. В связке с коннектором Debezium, который также входит в ADS, Iceberg Sink Connector позволяет реализовать полноценный технологический процесс CDC (Change Data Capture), обеспечивая непрерывную и согласованную интеграцию данных из оперативных баз данных, например PostgreSQL и MS SQL, в табличный формат Iceberg, который может использоваться в lakehouse-платформе на базе Arenadata Hadoop (ADH). Такой подход избавляет от необходимости проектировать и поддерживать сложные ETL-процессы, ускоряя внедрение аналитических решений на основе актуальных данных.
Новая версия Arenadata Streaming поддерживает миграцию из ZooKeeper в KRaft с помощью интерфейса Arenadata Cluster Manager (ADCM). Функция предназначена для кластеров, в которых сервис Kafka уже используется вместе с ZooKeeper. Нововведение упрощает процесс перехода на новую архитектуру управления кластером, обеспечивает более удобное администрирование и управление ресурсами.
Кроме того, в новой версии предусмотрена возможность автоматической установки Java из репозитория Arenadata, что упрощает процесс установки или обновления Arenadata Streaming.
«В ближайшем релизе мы выполним все необходимые работы для предоставления стабильной и готовой к использованию в продуктивной среде версии Kafka, работающей с KRaft. Кроме того, расширим функциональность продукта с помощью новых open source компонентов, таких как Kafka Cruise Control, и собственных разработок, например NiFi ADB Connector».
По ссылке можно ознакомиться с полным списком изменений версии Arenadata Streaming 3.7.2.1.b1.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающие данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в Единый реестр российских программ для электронных вычислительных машин и баз данных.