Arenadata Streaming (ADS): новые функции и сервисы для потоковой передачи и обработки данных

На вебинаре представим обзор новых функций системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Покажем, как с их помощью оптимизировать управление кластерами Kafka и выстроить интеграцию оперативных БД с корпоративными хранилищами, озёрами данных и lakehouse-платформами.

Также обсудим «многослойное» хранение на базе Kafka Tiered Storage, Change Data Capture (CDC) с Debezium, коннекторы Iceberg Sync Connector и NiFi ADB Connector, управление метаданными без ZooKeeper с помощью Kafka Raft (KRaft), балансировку и масштабирование кластеров через Cruise Control.

В программе

• Arenadata Streaming: интеграция с продуктами Arenadata и актуальные сценарии использования.
• Kafka Tiered Storage: реализация «многослойного» хранения.
• Интеграция данных: CDC с Debezium, Iceberg Sync Connector и NiFi ADB Connector.
• Архитектурные изменения: Kafka Raft (KRaft) вместо ZooKeeper.
• Оптимизация кластеров Kafka: балансировка и масштабирование с Cruise Control.
• Live-demo: построим пайплайн загрузки данных в корпоративное хранилище и lakehouse и покажем работу с коннекторами в Arenadata Streaming Control.
• Roadmap: планы развития ADS на 2026 год.
• Q&A: ответы на вопросы участников.