Arenadata Streaming

Система потоковой обработки данных в режиме реального времени


Arenadata Streaming (ADS) – эффективное масштабируемое отказоустойчивое решение для потоковой обработки данных в режиме реального времени, адаптированное для корпоративного использования и построенное на базе Apache Kafka и Apache Nifi – проектов с открытым исходным кодом.

Одной из особенностей реализации платформы является применение техники, сходной с журналами транзакций, используемыми в системах управления базами данных.

Платформа потоковой передачи данных имеет три ключевые возможности: 

  • Публикация и подписка на потоковую передачу данных, похожую на очередь сообщений или корпоративную систему обмена сообщениями;

  • Хранение потоков записей отказоустойчивым способом;

  • Обработка потоков записей по мере их возникновения.

ADS, как правило, используется для двух обширных классов приложений:

  • Создание канала для потоковой передачи данных в реальном времени с целью надежного обмена данными между системами и приложениями;

  • Создание приложений для потоковой передачи данных в реальном времени с целью их преобразования и взаимодействия с другими потоками.


Основные преимущества

Единая точка доступа:

  • Используйте в качестве корпоративной шины обмена данными для всех своих приложений.

Легкий, безопасный и надежный способ управления потоком данных:

  • Собирайте большие потоки данных безопасно и эффективно управляйте ими в режиме реального времени.

Политики безопасности:

  • Создавайте потоки данных с поддержкой разграничения прав доступа к ним.

Быстрая и непрерывная разработка:

  • Разрабатывайте потоковые аналитические приложения за считанные минуты в режиме реального времени без единой строчки кода.
ADS содержит в себе все необходимые компоненты для сбора, анализа и обработки данных в режиме реального времени, обеспечивает хранение и передачу в семантике «exactly-once delivery» безопасным и отказоустойчивым способом, предоставляя удобный интерфейс для администрирования и разработки.

Технические особенности

Отказоустойчивость:

  • Архитектура решения позволяет обеспечивать консистентность при потоковой передаче данных в режиме реального времени. 

Масштабируемость:

  • Добавление новых серверов в кластер по мере необходимости. 

Распределенность:

  • Возможность построения гео-распределенной инфраструктуры.

Доступное оборудование:

  • Работает на любом x86-совместимом оборудовании. Получите рекомендуемые системные требования от наших специалистов. 

Реальное время:

  • Управление потоками, добавление и настройка источников данных в режиме реального времени.

Безопасность:

  • Гибкие механизмы контроля доступа к данным.

Интеграция:

  • Коннекторы к различным системам: Elasticsearch, SAP HANA, Vertica, Couchbase, Cassandra, CouchDB, IBM MQ и т.д. Широкий набор API для интеграции с другими внешними системами.

Простота и гибкость:

  • Позволяет создавать workflow с помощью графического интерфейса или разрабатывать свои собственные приложения с помощью SDK для повышения эффективности работы.