ARENADATA Streaming

Аналитическая платформа с открытым кодом

Arenadata Streaming (ADS) – эффективное масштабируемое отказоустойчивое решение для потоковой обработки данных в режиме реального времени, адаптированное для корпоративного использования и построенное на базе Apache Kafka и Apache Nifi, проектов с открытым исходным кодом.

Одной из особенностей реализации платформы является применение техники, сходной с журналами транзакций, используемыми в системах управления базами данных.

Платформа потоковой передачи данных имеет три ключевые возможности: 

  1. Публикация и подписка на потоковую передачу данных, похожую на очередь сообщений или корпоративную систему обмена сообщениями;

  2. Хранение потоков записей отказоустойчивым способом;

  3. Обработка потоков записей по мере их возникновения.

ADS, как правило, используется для двух обширных классов приложений:

  1. Создание канала для потоковой передачи данных в реальном времени с целью надежного обмена данными между системами и приложениями;

  2. Создание приложений для потоковой передачи данных в реальном времени с целью их преобразования и взаимодействия с другими потоками.


Основные преимущества

  • Единая точка доступа:

Используйте в качестве корпоративной шины обмена данными для всех своих приложений.

  • Легкий, безопасный и надежный способ управления потоком данных:

Собирайте большие потоки данных безопасно и эффективно управляйте ими в режиме реального времени.

  • Политики безопасности:

Создавайте потоки данных с поддержкой разграничения прав доступа к ним.

  • Быстрая и непрерывная разработка:

Разрабатывайте потоковые аналитические приложения за считанные минуты в режиме реального времени без единой строчки кода.

ADS содержит в себе все необходимые компоненты для сбора, анализа и обработки данных в режиме реального времени, обеспечивает хранение и передачу в семантике «exactly-once delivery» безопасным и отказоустойчивым способом, предоставляя удобный интерфейс для администрирования и разработки.


Технические особенности

  • Отказоустойчивость:

Архитектура решения позволяет обеспечивать консистентность при потоковой передаче данных в режиме реального времени.

  • Масштабируемость:

Добавление новых серверов в кластер по мере необходимости.

  • Распределенность:

Возможность построения гео-распределенной инфраструктуры.

  • Доступное оборудование:

Работает на любом x86-совместимом оборудовании. Получите рекомендуемые системные требования от наших специалистов.

  • Реальное время:

Управление потоками, добавление и настройка источников данных в режиме реального времени.

  • Безопасность:

Гибкие механизмы контроля доступа к данным.

  • Интеграция:

Коннекторы к различным системам: Elasticsearch, SAP HANA, Vertica, Couchbase, Cassandra, CouchDB, IBM MQ и т.д. Широкий набор API для интеграции с другими внешними системами.

  • Простота и гибкость:

Позволяет создавать workflow с помощью графического интерфейса или разрабатывать свои собственные приложения с помощью SDK для повышения эффективности работы.