В новой версии расширена функциональность Iceberg Sink Connector, который теперь поддерживает спецификацию Iceberg V3. Это позволяет использовать современные возможности табличного формата без потери производительности — работать с типами данных VARIANT и UNKNOWN, временными метками с точностью до наносекунд, векторами удаления (Deletion Vectors) и ключами шифрования метаданных.
Обновлён NiFi ADB Connector — в его состав включён процессор GetGreengageRecord, предназначенный для загрузки данных из Greengage DB через протокол gpfdist. Процессор поддерживает режим пошаговой выгрузки, предполагающий чтение только вновь появившихся диапазонов данных, что позволяет снизить нагрузку на СУБД и NiFi, в том числе в сценариях реального времени. Кроме того, теперь NiFi ADB Connector «из коробки» поддерживает работу с Arenadata DB (ADB) 7.
В релизе добавлена поддержка операционной системы Astra Linux 1.8. Появилась возможность использования мастера ADCM Wizard для установки ADS: он позволяет развернуть кластер с предварительной настройкой конфигураций безопасности — SSL, Kerberos, плагинов Ranger или их комбинацией. Реализована поддержка мониторинга на базе VictoriaMetrics с использованием кластера Arenadata Monitoring (ADM).
Обновлены версии сервисов экосистемы Kafka и NiFi, коннекторов Debezium и Iceberg, а также сервиса Arenadata Monitoring.
Полный список изменений версии Arenadata Streaming 4.0.0.b1 доступен по ссылке.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.