Arenadata выпустила собственное решение для управления Kafka-коннекторами

Arenadata Streaming Command Center дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приёмником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приёмникам. Наиболее востребованные сценарии использования нового инструмента — настройка передачи данных в реальном времени между различными системами, репликация и Disaster Recovery кластеров Kafka.

Ранее при работе с Open Source Kafka Connect пользователям было необходимо вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много ресурсов, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.

Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. Практически мгновенно можно организовать перенос данных из одной точки архитектурного ландшафта в другую, также теперь есть возможность:

• добавлять Kafka-коннекторы и управлять ими;
• отслеживать состояние кластеров Kafka Connect;
• работать с несколькими кластерами одновременно;
• гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
• работать с пользовательскими коннекторами.

Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming* начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.

В ближайших планах развития Arenadata Streaming Command Center реализация следующего функционала:

• добавление LDAP/LDAPS-аутентификации;
• мониторинг (количество сообщений, пропускная способность и т.д.) и управление топиками;
• переназначение partitions на другие ноды;
• добавление дашбордов и графиков;
• выбор leader replica.