ADS Control поддерживает управление несколькими кластерами Arenadata Streaming (ADS), в которых установлены сервисы Kafka и Kafka Connect, через графический веб-интерфейс. Решение предоставляет возможность создания, редактирования и удаления коннекторов, обеспечивает контроль над потоками данных, позволяет отслеживать ключевые показатели кластеров, оперативно находить и устранять ошибки.
В новой версии ADS Control реализована страница Schema Registry для просмотра информации о схемах и управления ими. На странице создания топиков добавлена поддержка настройки Tiered Storage и отдельное поле в таблице всех топиков для отображения статуса многоуровневого хранилища. Новшества дополняют ранее реализованные функции просмотра кластера, брокера и подключённых групп пользователей, а также управления топиками Kafka.
«За последний год наша команда проделала большую работу по развитию ADS Control в качестве полнофункционального инструмента для управления всеми аспектами Kafka-кластера и сопутствующими компонентами. На сегодняшний день мы готовы отказаться от сервиса Kafka-Manager (CMAK), так как ADS Control не только полностью покрывает его функциональность, но и предоставляет новые возможности. И, конечно, мы продолжаем работать над улучшением уже существующих функций и добавлением новых».
В новой версии ADS Control добавлены и функции безопасности, соответствующие требованиям корпоративных заказчиков. Реализован плагин AuthZ для авторизации в Apache Ranger, а также поддержка синхронизации пользователей с LDAP-каталогом — теперь подключиться к веб-интерфейсу ADS Control смогут пользователи, имеющие учётную запись в каталоге MS Active Directory.
По ссылке можно ознакомиться с полным списком изменений версии ADS Control 2.4.0.b1.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.