Система потоковой передачи и обработки данных

Arenadata Streaming — надёжный и универсальный продукт для мгновенного обмена сообщениями между корпоративными информационными системами.

Технологии, востребованные во всем мире

Arenadata Streaming относится к категории «Средства загрузки данных».

Это тип связующего ПО, который используется в сотнях тысяч компаний для интеграции баз данных, прикладных приложений и других систем.

Arenadata Streaming — лидер в сегменте «Средства загрузки данных» на российском рынке.
Согласно исследованию Фонда «Центр стратегических разработок» (ЦСР), 2024 год.

+20%

Рост рынка средств загрузки данных

По прогнозу ЦСР, темпы роста российского рынка средств загрузки данных составят 20% в год в период до 2030 года.

Целевые сценарии применения

Корпоративная шина обмена данными между системами или приложениями.

Потоковая обработка больших объёмов данных в реальном времени.

Приём данных из разных источников включая базы данных, прикладные приложения и IoT-устройства.

Среда консолидации потоков данных и управления ими в режиме реального времени.

Инструмент разграничения прав доступа к потокам данных.

Хранение потоков записей отказоустойчивым долговечным способом.

Фреймворк для разработки потоковых аналитических приложений, преобразующих или реагирующих на потоки данных, — за считаные минуты и без единой строчки кода.

Инструменты для анализа данных в реальном времени, включая машинное обучение, прогнозную аналитику и обнаружение аномалий.

Хотите больше узнать о продукте?

Да, хочу

Платформа потоковой передачи данных на базе Apache Kafka и Apache NiFi

Arenadata Streaming (ADS) — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.

Arenadata Streaming имеет распределённую архитектуру, которая позволяет обрабатывать большие объёмы данных из различных источников, включая базы данных, устройства IoT, датчики и другие источники потоковой передачи.

Российский продукт

Свидетельство о государственной регистрации программы для ЭВМ.

Номер регистрации

2019662343

Дата регистрации

20.09.2019

Включён в единый реестр российских программ для электронных вычислительных машин и баз данных

Номер реестровой записи

6997

Дата формирования

07.10.2020

Техническая поддержка

Средний SLA службы технической поддержки.

Базовая

Премиальная

Расширенная

Средний SLA службы технической поддержки.

Дополнительная экспертиза для успеха проекта

Клиентам Arenadata необязательно самостоятельно разбираться в том, как устроены продукты компании, а также в том, как реализовать проект на их основе с минимальными затратами и рисками. Мы предлагаем заказчикам экспертную помощь на всех этапах проекта.

Экспертиза вендора

Arenadata сопровождает заказчиков на всех этапах реализации проекта.

Наши эксперты предлагают оптимальные архитектурные и проектные решения, проводят аудиты, формируют рекомендации и консультируют по широкому кругу технических вопросов.

Экспертиза партнёров

У Arenadata более сотни партнёров, в числе которых облачные провайдеры, OEM-производители, разработчики ПО, системные интеграторы и консалтинговые организации.

Каждый из них обладает экспертизой по своему направлению и понимает, как работать с продуктами Arenadata. Наше программное обеспечение совместимо с продуктами многих вендоров, включая российские операционные системы, системы класса BI, АБС, NRT и AI.

Курсы по продуктам

В учебном центре Arenadata под руководством опытных преподавателей слушатели курсов учатся установке, настройке, конфигурированию и обслуживанию наших продуктов.

Мы предлагаем курсы:

Альтернатива иностранным системам

Благодаря технической зрелости и функциональности продукты нашей компании замещают решения многих иностранных вендоров.

Технические возможности

01/

Масштабируемость

Возможность добавлять или убирать серверы в кластере без остановки работы системы, размещать разделы сообщений на нескольких или всех узлах кластера. Переключение потребителей в случае сбоя и балансировка нагрузки происходят автоматически.

02/

Низкий порог входа в технологию

Для работы с потоками данных предусмотрен графический редактор, использование командной строки или написание программного кода не требуется.

03/

Безопасность

Возможность создавать потоки данных с поддержкой разграничения прав доступа к ним для защиты критически важной информации от несанкционированного доступа. Расширенные настройки безопасности включают использование протокола SSL/TLS, Kerberos-аутентификацию, аутентификацию пользователей графического управления потоками данных по протоколам LDAP/LDAPS.

04/

Гибкость

Продукт позволяет настраивать разделы для обработки потоков данных, конфигурации кластера и другие параметры. Предусмотрены коннекторы к популярным приложениям и базам данных, API и возможность разрабатывать собственные коннекторы, доступен SQL для работы с потоками данных и графический интерфейс.

05/

Отказоустойчивость

Продукт реализует обмен сообщениями по принципу «публикация — подписка»: отправитель публикует сообщение в специальном разделе, где оно хранится заданное количество времени и может считываться неограниченное число раз. Кластерная конфигурация позволяет реплицировать разделы между узлами, автоматически балансируя нагрузку и переключая потребителей при отказах.

06/

Выбор периода хранения

В отличие от других брокеров сообщений, которые удаляют информацию сразу после доставки, с Arenadata Streaming можно настраивать нужный период хранения данных.

07/

Высокая производительность

Arenadata Streaming позволяет объединять потребителей в группы, подключая их к соответствующим разделам, распределять разделы между узлами кластера и балансировать нагрузку между ними для линейного увеличения скорости считывания, надёжности и отказоустойчивости.

08/

Простота управления

Для установки, обновления и мониторинга мы разработали универсальный оркестратор Arenadata Cluster Manager. Он работает в автоматическом и полуавтоматическом режиме, является multi-cloud-системой и может быть развёрнут на любой имеющейся инфраструктуре, включая публичные облака.

09/

Универсальность

Продукт одинаково эффективно работает как со структурированными, так и с неструктурированными данными, оперируя сотнями тысяч сообщений в минуту.

10/

Пакет утилит для полной офлайн-установки и настройки

Содержит набор инструментов для автоматической установки и настройки компонентов на физических серверах, в облаке и в гибридных средах.

11/

Нет vendor lock-in

Тиражируемый продукт, совместимый с upstream-версиями open source проектов.

Стоимость решения

Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и рассчитывается индивидуально.

запросить детали

Состав компонентов Arenadata Streaming

Отличия от Kafka и NiFi

Качественная сборка совместимых компонентов

Дистрибутив Arenadata Streaming включает последние и стабильные версии компонентов экосистемы Kafka и NiFi, а также дополнительные сервисы собственной разработки, они гарантированно совместимы и управляются из единого центра — Arenadata Cluster Manager.

Техническая экспертиза

Наша команда анализирует исправления багов, полученные от сообщества Kafka и NiFi, и определяет, какие из них следует включить в продукт, а также разрабатывает собственные сервисы. Мы тщательно тестируем продукты, проверяем на наличие уязвимостей и вредоносного кода, обеспечиваем их бесшовную интеграцию и корректную работу до и после обновлений.

Безопасность

В состав продукта входит комплексная система безопасности Arenadata Platform Security на базе Kerberos, Ranger и Knox. Предусмотрена настройка политик безопасности и ролевого доступа, аудит действий пользователя, управление ключами шифрования с помощью Ranger KMS. Поддерживается «из коробки» множество кластеров и сред Test/Dev/Prod с использованием Security Zones. Полностью переработана архитектура Backend.

Пользовательский веб-интерфейс для управления кластером Kafka

В состав продукта входит Arenadata Streaming Control (ADSC) — графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи. Он позволяет администраторам управлять кластерами Kafka и Kafka Connect, включая потоковую обработку и настройку, а также просматривать их состояние.

Мониторинг, реализованный на трёх уровнях

Первый уровень контролирует в Arenadata Cluster Manager работоспособность серверов и сервисов Kafka и NiFi. Второй реализован как отдельный компонент и выполняет функции по сбору и хранению метрик Kafka/NiFi и их визуализации в разработанных информационных панелях. На этом уровне поддерживается отправка уведомлений администраторам (alerting). Третий, дополнительный уровень обеспечивает мониторинг подключений с помощью ADSC.

Оригинальная интерактивная документация

Для всех продуктов Arenadata создана и постоянно поддерживается в актуальном состоянии оригинальная интерактивная документация на русском и английском языках.

Документация

Коннекторы

ADB Kafka Connector

Специализированный коннектор для интеграции Apache Kafka с Arenadata DB. Позволяет писать и читать данные в формате AVRO из топиков Kafka. Умеет читать CSV и текстовый формат данных. Поддерживает транзакции в Arenadata DB.

Документация

ADQM Kafka Connector

Специализированный коннектор для интеграции Apache Kafka с Arenadata QuickMarts.

Позволяет писать и читать данные в формате AVRO, JSON и текстовых форматов из топиков Kafka.

Mirror Maker 2

Основанный на платформе сервиса Kafka Connect механизм репликации данных из исходного кластера на удалённый.

Документация

Хотите изучить базовые возможности Arenadata Streaming?

Скачайте комьюнити-версию

скачать

Нам доверяют

Новости про Arenadata Streaming

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи.

хочу спросить

Чем Arenadata Streaming отличается от Kafka и NiFi?

В Arenadata Streaming есть система мониторинга и управления, поддержка расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Какие отличия в редакциях Community и Enterprise?

Корпоративная версия Arenadata Streaming поставляется вместе с подсистемой Arenadata Platform Security, которая поддерживает расширенную безопасность системы и данных. Это аутентификация с использованием Kerberos, интеграция с LDAP/Active Directory, поддержка авторизации доступа к объектам с использованием Ranger, журналы и отчёты аудита.
В случае приобретения enterprise-редакции ПО у заказчиков Arenadata есть возможность воспользоваться дополнительными консалтинговыми услугами «DBA как услуга», «Технический аккаунт-менеджмент», «Аудит цифрового ландшафта» и Smart Start. Нашим клиентам не обязательно разворачивать и настраивать все компоненты платформы самостоятельно — инженеры Arenadata могут выполнить эти работы в полном объёме.
Кроме того, заказчикам enterprise-редакции наших продуктов мы обеспечиваем корпоративную техническую поддержку в режиме 24/7 или 8/5 в соответствии с согласованными стандартами SLA. В рамках договора фиксируется время первого ответа на, гарантии по оперативной диагностике и устранению сбоев, развёрнутые консультации и помощь в установке обновлений.

Какие отличительные функциональные возможности Arenadata Streaming (Kafka)?

  • Приём и хранение сообщений с возможностью доставки сообщения нескольким потребителям.
  • Возможность создания записей от нескольких издателей в один элемент хранения сообщений.
  • Возможность хранения сообщений в течение настраиваемого периода времени.
  • Возможность сжатия данных и настройки регламента очистки/сжатия.
  • Выполнение как потоковых, так и произвольных считываний файлов.
  • Наличие инструментария создания приложений для потоковой обработки данных в реальном времени.
  • Возможность работы с данными любых типов и форматов.
  • Поддержка потоковой аналитики при помощи подсистемы KSQL.

Какие отличительные особенности по масштабированию и отказоустойчивости есть у ADS (Kafka)?

  • Линейная горизонтальная масштабируемость.
  • Возможность ведения различных очередей чтения по одному элементу хранения для различных потребителей.
  • Поддержка режимов доставки сообщений «exactly one delivery», «at least once», «at most once».
  • Автоматическое распараллеливание и распределение задач.
  • Нативная отказоустойчивость без доработок ПО.
  • Распределение данных по нескольким серверам во время загрузки.
  • Возможность создания партиций в рамках элемента хранения и распределение сообщений по этим партициям по одному из по крайней мере трёх вариантов: последовательно (round-robin), согласно хэш-значению ключа или с явным указанием номера раздела.

Какие средства управления и мониторинга есть в ADS?

  • Возможность настройки прав доступа к очередям сообщений.
  • Система развёртывания и управления кластером.
  • Наличие системы визуального мониторинга ключевых метрик.

Какие отличительные возможности есть у ADS (NiFi)?

  • Возможность работы как с потоками данных в реальном времени, так и с массовыми асинхронными загрузками.
  • Наличие визуального средства оркестрации потоков и загрузок данных.
  • Возможность переноса нагрузки на СУБД-приёмник (ELT).
  • Возможность исполнения внешних скриптов, в т. ч. Python.
  • Наличие встроенного средства мониторинга исполнения загрузки.
  • Доступность репозитория метаданных для анализа внешними средствами.

У нас мало программистов, есть ли возможность визуальной настройки интеграционных потоков?

Да, в состав Arenadata Streaming входит Apache NiFi. Это инструмент для управления потоками данных из разнообразных источников в режиме реального времени, который имеет редактор визуального проектирования для создания интеграций и преобразований.

Какие есть средства для подключения разнородных информационных систем к ESB?

Основой сервисной шиной предприятия (ESB) в ADS является Kafka. Для подключения к ней можно использовать встроенные процессоры NiFi или фреймворк Kafka Connect с соответствующими коннекторами.

С ростом бизнеса мы ожидаем рост количества сообщений в системе. Существует ли возможность подключения дополнительных серверов в кластер для увеличения пропускной способности ESB?

Да, как Kafka, так и NiFi горизонтально масштабируются, а с использованием Arenadata Cluster Manager это можно сделать достаточно просто, используя графический интерфейс.

Обеспечивается ли гарантированная доставка сообщений между участниками информационного взаимодействия?

В Kafka существует два участника информационного взаимодействия, которые общаются через отказоустойчивый (fault tolerance) и распределённый брокер сообщений. Это производитель (producer) и потребитель (consumer).
Для обеспечения гарантированной доставки сообщения между производителем и брокером реализована стратегия однократной (идемпотентной) доставки сообщений «exactly once» за счёт механизма подтверждения доставки. Это значит, что сообщение гарантированно записано и реплицируемо, при этом в случае сбоя повторения не допускаются.
Потребитель (consumer) с учётом знаний о гарантированной записи и стратегии «exactly once» сам должен позаботиться о том, чтобы не обработать одну и ту же запись несколько раз, то есть это реализуется в логике приложения.

Мы хотим разрезать монолит и разработать микросервисную архитектуру. Arenadata Streaming подойдёт для этого?

Да, Arenadata Streaming прекрасно подойдёт для этих целей. В открытых источниках различных компаний есть огромное количество публикаций, описывающих успешное решение подобной задачи с использованием стека технологий, который поставляется в ADS.

Что такое Apache Kafka?

Apache Kafka — это популярный брокер сообщений с открытым исходным кодом, который реализует систему публикации сообщений и подписки на них. Он часто является основой распределённой платформы потоковой обработки.

Что такое производители/издатели (producers) в Apache Kafka?

Производители (producers) генерируют новые сообщения и записывают их в определённый топик брокера Kafka.

Что такое потребители/подписчики (consumers) в Apache Kafka?

Потребитель подписывается на топики и читает сообщения в порядке их создания. Приложение-потребитель самостоятельно отслеживает, какие сообщения уже прочитаны, с помощью смещения (offset), которое Kafka добавляет в каждое сообщение при генерации.

Что такое топик в Apache Kafka?

В Kafka сообщения распределяются по топикам. Ближайшая аналогия топика — это таблица базы данных. Топики состоят из разделов (partitions), которые представляют собой отдельные журналы фиксации.

Как мне осуществлять мониторинг кластера Apache Kafka?

В состав Arenadata Streaming входит Kafka Manager — это Open Source продукт с сильным сообществом разработчиков. Он предоставляет функционал управления кластерами Kafka, топиками, а также предоставляет мониторинг показателей для брокеров, производителей и потребителей.

Как я могу осуществлять двунаправленную репликацию между двумя ЦОД?

Для этого подходит Mirror Maker, который входит в состав Arenadata Streaming. Mirror Maker выполняет копирование одного или нескольких топиков из исходного кластера Kafka в целевой кластер Kafka.

Как организовать контроль качества данных в сообщениях в Apache Kafka?

Эту возможность предоставляет Kafka Manager, который входит в состав Arenadata Streaming.

Для чего нужен Apache NiFi?

Apache NiFi — инструмент для управления потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Это ETL-инструмент. Название — акроним Niagara Files — достаточно точно описывает концепцию NiFi, которая тесно связана с основными идеями потокового программирования (Flow Based Programming — FBP).

Как интегрировать Kafka и NiFi?

Это очень просто: находите встроенный процессор ConsumeKafka для подписки или PublishKafka для публикации, перетаскиваете его в визуальный редактор NiFi, заполняете несколько свойств — и интеграция готова.

Где можно надёжно хранить логику разработанных интеграций потоков данных NiFi?

Для этих целей служит NiFi Registry. Это дочерний проект NiFi. Компонент, который обеспечивает централизованное хранение и управление общими ресурсами для одного или нескольких экземпляров NiFi и/или MiNiFi. Ближайшая аналогия — система управления версиями, например Git, который хранит логику разработанных интеграций и преобразований в NiFi.

Нужно организовать платформу для сбора данных с датчиков производства, что вы можете предложить?

Для этого прекрасно подойдёт компонент MiNiFi. Он реализует дополнительный подход к удалённому сбору данных, который дополняет NiFi в управлении потоками данных, фокусируясь на приёме и первичной обработке данных на источнике их создания. Как следствие, компонент имеет низкие требования к ресурсам оборудования, обеспечивая выполнение на компонентах инфраструктуры IoT Edge.

Ждём ваши вопросы!

Задать вопрос

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.