На вебинаре представим обзор новых функций системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Покажем, как с их помощью оптимизировать управление кластерами Kafka и выстроить интеграцию оперативных БД с корпоративными хранилищами, озёрами данных и lakehouse-платформами.
Также обсудим «многослойное» хранение на базе Kafka Tiered Storage, Change Data Capture (CDC) с Debezium, коннекторы Iceberg Sync Connector и NiFi ADB Connector, управление метаданными без ZooKeeper с помощью Kafka Raft (KRaft), балансировку и масштабирование кластеров через Cruise Control.
В программе
- Arenadata Streaming: интеграция с продуктами Arenadata и актуальные сценарии использования.
- Kafka Tiered Storage: реализация «многослойного» хранения.
- Интеграция данных: CDC с Debezium, Iceberg Sync Connector и NiFi ADB Connector.
- Архитектурные изменения: Kafka Raft (KRaft) вместо ZooKeeper.
- Оптимизация кластеров Kafka: балансировка и масштабирование с Cruise Control.
- Live-demo: построим пайплайн загрузки данных в корпоративное хранилище и lakehouse и покажем работу с коннекторами в Arenadata Streaming Control.
- Roadmap: планы развития ADS на 2026 год.
- Q&A: ответы на вопросы участников.