В релизе Arenadata Streaming обновлены версии сервисов экосистемы Kafka и NiFi. Значительные изменения затронули Iceberg Sink Connector — инструмент для интеграции с iceberg-таблицами. В новой версии коннектора реализована поддержка модуля преобразования одиночных сообщений (Single Message Transform, SMT), который позволяет автоматически трансформировать каждую запись1 . Кроме того, теперь доступно удаление строк в режиме UPSERT и новые параметры для операций CDС, определяющие действия (вставка, обновление или удаление) для каждой входящей записи. Это позволяет автоматизировать обработку данных без необходимости писать сложный код.
«Мы вложили значительные ресурсы команды разработки в развитие готового к промышленной эксплуатации Iceberg Sync Connector. После перехода коннектора в основной проект Apache Iceberg многие критически важные для корпоративной среды функции остались без внимания, например поддержка аутентификации Kerberos, ключевые модули для трансформации данных (SMT) и полноценная работа в режиме UPSERT. Команда Arenadata устранила эти ограничения, что делает наше решение уникальным на рынке — оно готово к применению в реальных проектах сразу „из коробки“. На этом мы не останавливаемся: в планах — дальнейшее развитие функционала в ответ на запросы наших пользователей, включая интеграцию с Ozone в ближайшем будущем».
NiFi 22 дополняет предыдущую версию сервиса, входящую в состав дистрибутива Arenadata Streaming. Благодаря переработанному ядру и оптимизации асинхронных операций, NiFi 2 позволяет работать с бóльшими объёмами данных без снижения скорости. Улучшенный пользовательский интерфейс обеспечивает простую и интуитивную настройку потоков данных и выполнение автоматических преобразований, средства мониторинга позволяют оперативно выявлять и устранять ошибки. В новой версии предусмотрены расширенные функции безопасности: поддержка шифрования потоков данных, средства контроля доступа и трекинга активности пользователей.
В Arenadata Streaming дополнена функциональность Kafka Cruise Control — инструмента для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka. В сервисе реализованы такие типы аутентификации, как Basic и Kerberos, и возможность экспорта параметров аутентификации в Arenadata Streaming Control.
Начиная с версии 3.9.1.1.b1 Arenadata Streaming совместим с российской операционной системой «Альт СП» (релиз 10), сертифицированной ФСТЭК России на соответствие требованиям защиты к средствам виртуализации и контейнеризации.
Полный список изменений версии Arenadata Streaming 3.9.1.1.b1 доступен по ссылке.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
1. Функциональность предоставляется в режиме технологического превью, поддерживаются доступные по умолчанию SMT.
2. Сервис NiFi 2 предназначен для ознакомления в режиме технологического превью и не рекомендован для продуктивного использования.