Arenadata расширяет функциональность решения для управления кластерами Kafka

Arenadata выпустила новую версию Arenadata Streaming Control (ADS Control) — системы для управления кластерами потоковой передачи данных. Ключевые изменения в релизе: новые возможности работы с ADS.Kafka и функции безопасности.

ADS Control поддерживает управление несколькими кластерами Arenadata Streaming (ADS), в которых установлены сервисы Kafka и Kafka Connect, через графический веб-интерфейс. Решение предоставляет возможность создания, редактирования и удаления коннекторов, обеспечивает контроль над потоками данных, позволяет отслеживать ключевые показатели кластеров, оперативно находить и устранять ошибки.

В новой версии ADS Control реализована страница Schema Registry для просмотра информации о схемах и управления ими. На странице создания топиков добавлена поддержка настройки Tiered Storage и отдельное поле в таблице всех топиков для отображения статуса многоуровневого хранилища. Новшества дополняют ранее реализованные функции просмотра кластера, брокера и подключённых групп пользователей, а также управления топиками Kafka.

«За последний год наша команда проделала большую работу по развитию ADS Control в качестве полнофункционального инструмента для управления всеми аспектами Kafka-кластера и сопутствующими компонентами. На сегодняшний день мы готовы отказаться от сервиса Kafka-Manager (CMAK), так как ADS Control не только полностью покрывает его функциональность, но и предоставляет новые возможности. И, конечно, мы продолжаем работать над улучшением уже существующих функций и добавлением новых».

Александр Анисимов

Технический руководитель продукта Arenadata Streaming

В новой версии ADS Control добавлены и функции безопасности, соответствующие требованиям корпоративных заказчиков. Реализован плагин AuthZ для авторизации в Apache Ranger, а также поддержка синхронизации пользователей с LDAP-каталогом — теперь подключиться к веб-интерфейсу ADS Control смогут пользователи, имеющие учётную запись в каталоге MS Active Directory.

По ссылке можно ознакомиться с полным списком изменений версии ADS Control 2.4.0.b1.

Возможности Arenadata Streaming

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет:

• в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
• в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
• хранить потоки записей отказоустойчивым долговечным способом;
• разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.