Arenadata Streaming

Обрабатывать огромные объёмы информации в real-time

Arenadata Streaming (ADS) — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache Nifi.

Непрерывный обмен огромными потоками данных

Высоконагруженные внутренние системы предприятия характеризуются огромными потоками данных, например, миллионами поступающих в минуту сообщений. Чтобы справиться с этим обилием, необходимо осуществлять безостановочный и отказоустойчивый обмен данными между требуемыми компании приложениями. При этом важно, чтобы в процессе не происходило потерь данных. Arenadata Streaming эффективно решает задачи корпоративной шины обмена данными: она способна получать и обрабатывать данные из многочисленных внешних систем, хранить их в течение нужного для бизнеса периода времени и возвращать потребителям с удобной для них нагрузкой.

Arenadata Streaming позволяет:

  • Строить потоковые конвейеры данных в реальном времени, которые надежно передают данные между системами или приложениями;
  • Разрабатывать потоковые приложения в реальном времени, которые преобразуют или реагируют на потоки данных;
  • Хранить потоки записей отказоустойчивым долговечным способом;
  • Разграничивать права доступа к потокам данных.
ADS является универсальным средством для решения задач, связанных с потоковой обработкой данных в режиме реального времени.

Корпоративная шина обмена данными


Ключевые преимущества Arenadata Streaming

скачать сейчас
Экономия
Arenadata Streaming позволяет снизить порог входа в технологию, так как имеет редактор визуального проектирования и не требует написания программного кода.
Выбор периода хранения данных
В отличие от других брокеров сообщений, которые удаляют информацию сразу же после того, как она была доставлена, с ADS вы сами выбираете нужный период хранения данных. Как показывает опыт реализованных специалистами Arenadata проектов, он может быть совершенно разным: некоторые наши клиенты анализируют активность пользователей на сайте и хранят данные не более одной-двух минут. Другим важен долгосрочный доступ к полученной информации, поэтому она находится в Arenadata Streaming в течение нескольких месяцев.
Универсальность
ADS является универсальным средством для решения задач, связанных с потоковой обработкой данных в режиме реального времени.
Загружайте любые данные
Для Arenadata Streaming не важно, какого формата данные поступают в систему: она одинаково эффективно потребляет как структурированную, так и неструктурированную информацию. Данных может быть огромное количество — ADS оперирует сотнями тысяч сообщений в минуту.
Масштабируемость
Гибкость и масштабируемость системы позволяет ей расти вместе с вашими потребностями, подстраиваясь под текущие задачи. Так, вы всегда можете добавить в кластер новые серверы без остановки работы системы или же убрать ненужные.
Минимальная возможность потери данных
Обычные брокеры сообщений получают информацию и хранят её ровно до того момента, пока она не потребуется пользователям. Однако ADS реализует обмен сообщениями по типу «публикация/подписка» — паттерн проектирования, отличающийся тем, что отправитель сообщения не направляет его конкретному потребителю. Кроме того, Arenadata Streaming реализует концепцию Data Persistency (постоянное хранение данных, персистентность) — возможность восстановления сообщений. Это позволяет считывать сообщение столько раз, сколько необходимо, и тому потребителю, которому требуется. На практике это приводит к увеличению надёжности при обмене сообщениями и гибкости в реализации архитектуры взаимодействия систем
Гибкость настройки
ADS позволяет настроить режимы реализации распределённых вычислений, время хранения данных и другие критически важные для сервисной шины предприятия характеристики.
Безопасность
Потоки данных можно создавать с поддержкой разграничения прав доступа к ним, это позволяет изолировать критически важную информацию от несанкционированного доступа.
Балансировка нагрузки
ADS позволяет объединять потребителей в группы, практически линейно увеличивая скорость считывания и реализуя отказоустойчивость на уровне приложений.

Российское программное обеспечение

Arenadata Streaming — российское программное обеспечение, зарегистрированное в Едином реестре российских программ для электронных вычислительных машин и баз данных Минкомсвязи РФ.
Его разработкой занимаются специалисты , рассредоточенные в различных регионах России: Москве, Санкт-Петербурге, Хабаровске.
Используя ADS, вы защищены от валютных рисков, поскольку цены на продукт представлены исключительно в рублях.
Документация к Arenadata Streaming, техническая поддержка продукта и обучающие курсы предоставляются на русском языке.

Arenadata Streaming в облаке

Мы не ограничиваем наших клиентов в выборе типа инфраструктуры: Arenadata Streaming одинаково эффективно будет работать как на bare-metal, так и в облаке. Вы можете воспользоваться востребованным сегодня сценарием — гетерогенной ИТ-инфраструктурой или Multi-clouds. Или же установить ADS распределённо на разные инфраструктуры, главное обеспечить между ними сетевую доступность.

Разверните Arenadata Streaming на собственных серверах

Вы можете использовать наш продукт на собственных серверах.

Состав компонентов текущей и будущих версий:

Arenadata Streaming RoadMap

FAQ

Чем Arenadata Streaming отличается от ванильной Kafka и NiFi?

В Arenadata Streaming есть система мониторинга и управления, поддержка расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Какие отличия в редакциях Community и Enterprise?

Корпоративная версия Arenadata Streaming поставляется вместе с подсистемой Arenadata Platform Security, которая поддерживает расширенную безопасность системы и данных. Это аутентификация с использованием Kerberos, интеграция с LDAP/Active Directory, поддержка авторизации доступа к объектам с использованием Ranger, журналы и отчёты аудита.

В случае приобретения enterprise-редакции ПО у заказчиков Arenadata есть возможность воспользоваться дополнительными консалтинговыми услугами «DBA как услуга», «Технический аккаунт-менеджмент», «Аудит цифрового ландшафта» и Smart Start. Нашим клиентам не обязательно разворачивать и настраивать все компоненты платформы самостоятельно — инженеры Arenadata могут выполнить эти работы в полном объёме.

Кроме того, заказчикам enterprise-редакции наших продуктов мы обеспечиваем корпоративную техническую поддержку в режиме 24/7 или 8/5 в соответствии с согласованными стандартами SLA. В рамках договора фиксируется время первого ответа на обращение, гарантии по оперативной диагностике и устранению сбоев, развёрнутые консультации и помощь в установке обновлений.

Какие отличительные функциональные возможности Arenadata Streaming (Kafka)?

  • Приём и хранение сообщений с возможностью доставки сообщения нескольким потребителям.
  • Возможность создания записей от нескольких издателей в один элемент хранения сообщений.
  • Возможность хранения сообщений в течение настраиваемого периода времени.
  • Возможность сжатия данных и настройки регламента очистки/сжатия.
  • Выполнение как потоковых, так и произвольных считываний файлов.
  • Наличие инструментария создания приложений для потоковой обработки данных в реальном времени.
  • Возможность работы с данными любых типов и форматов.
  • Поддержка потоковой аналитики при помощи подсистемы KSQL.

Какие отличительные особенности по масштабированию и отказоустойчивости есть у ADS (Kafka)?

  • Линейная горизонтальная масштабируемость.
  • Возможность ведения различных очередей чтения по одному элементу хранения для различных потребителей.
  • Поддержка режимов доставки сообщений «exactly one delivery», «at least once», «at most once».
  • Автоматическое распараллеливание и распределение задач.
  • Нативная отказоустойчивость без доработок ПО.
  • Распределение данных по нескольким серверам во время загрузки.
  • Возможность создания партиций в рамках элемента хранения и распределение сообщений по этим партициям по одному из по крайней мере трёх вариантов: последовательно (round-robin), согласно хэш-значению ключа или с явным указанием номера раздела.

Какие средства управления и мониторинга есть в ADS?

  • Возможность настройки прав доступа к очередям сообщений.
  • Система развёртывания и управления кластером.
  • Наличие системы визуального мониторинга ключевых метрик.

Какие отличительные возможности есть у ADS (NiFi)?

  • Возможность работы как с потоками данных в реальном времени, так и с массовыми асинхронными загрузками.
  • Наличие визуального средства оркестрации потоков и загрузок данных.
  • Возможность переноса нагрузки на СУБД-приёмник (ELT).
  • Возможность исполнения внешних скриптов, в т. ч. Python.
  • Наличие встроенного средства мониторинга исполнения загрузки.
  • Доступность репозитория метаданных для анализа внешними средствами.

У нас мало программистов, есть ли возможность визуальной настройки интеграционных потоков?

Да, в состав Arenadata Streaming входит Apache NiFi. Это инструмент для управления потоками данных из разнообразных источников в режиме реального времени, который имеет редактор визуального проектирования для создания интеграций и преобразований.

Какие есть средства для подключения разнородных информационных систем к ESB?

Основой сервисной шиной предприятия (ESB) в ADS является Kafka. Для подключения к ней можно использовать встроенные процессоры NiFi или фреймворк Kafka Connect с соответствующими коннекторами.

С ростом бизнеса мы ожидаем рост количества сообщений в системе. Существует ли возможность подключения дополнительных серверов в кластер для увеличения пропускной способности ESB?

Да, как Kafka, так и NiFi горизонтально масштабируются, а с использованием Arenadata Cluster Manager это можно сделать достаточно просто, используя графический интерфейс.

Обеспечивается ли гарантированная доставка сообщений между участниками информационного взаимодействия?

В Kafka существует два участника информационного взаимодействия, которые общаются через отказоустойчивый (fault tolerance) и распределённый брокер сообщений. Это производитель (producer) и потребитель (consumer).

Для обеспечения гарантированной доставки сообщения между производителем и брокером реализована стратегия однократной (идемпотентной) доставки сообщений «exactly once» за счёт механизма подтверждения доставки. Это значит, что сообщение гарантированно записано и реплицируемо, при этом в случае сбоя повторения не допускаются.

Потребитель (consumer) с учётом знаний о гарантированной записи и стратегии «exactly once» сам должен позаботиться о том, чтобы не обработать одну и ту же запись несколько раз, то есть это реализуется в логике приложения.

Мы хотим разрезать монолит и разработать микросервисную архитектуру. Arenadata Streaming подойдёт для этого?

Да, Arenadata Streaming прекрасно подойдёт для этих целей. В открытых источниках различных компаний есть огромное количество публикаций, описывающих успешное решение подобной задачи с использованием стека технологий, который поставляется в ADS.

Что такое Apache Kafka?

Apache Kafka — это популярный брокер сообщений с открытым исходным кодом, который реализует систему публикации сообщений и подписки на них. Он часто является основой распределённой платформы потоковой обработки.

Что такое производители/издатели (producers) в Apache Kafka?

Производители (producers) генерируют новые сообщения и записывают их в определённый топик брокера Kafka.

Что такое потребители/подписчики (consumers) в Apache Kafka?

Потребитель подписывается на топики и читает сообщения в порядке их создания. Приложение-потребитель самостоятельно отслеживает, какие сообщения уже прочитаны, с помощью смещения (offset), которое Kafka добавляет в каждое сообщение при генерации.

Что такое топик в Apache Kafka?

В Kafka сообщения распределяются по топикам. Ближайшая аналогия топика — это таблица базы данных. Топики состоят из разделов (partitions), которые представляют собой отдельные журналы фиксации.

Как мне осуществлять мониторинг кластера Apache Kafka?

В состав Arenadata Streaming входит Kafka Manager — это Open Source продукт с сильным сообществом разработчиков. Он предоставляет функционал управления кластерами Kafka, топиками, а также предоставляет мониторинг показателей для брокеров, производителей и потребителей.

Как я могу осуществлять двунаправленную репликацию между двумя ЦОД?

Для этого подходит Mirror Maker, который входит в состав Arenadata Streaming. Mirror Maker выполняет копирование одного или нескольких топиков из исходного кластера Kafka в целевой кластер Kafka.

Как организовать контроль качества данных в сообщениях в Apache Kafka?

Эту возможность предоставляет Kafka Manager, который входит в состав Arenadata Streaming.

Для чего нужен Apache NiFi?

Apache NiFi — инструмент для управления потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Это ETL-инструмент. Название — акроним Niagara Files — достаточно точно описывает концепцию NiFi, которая тесно связана с основными идеями потокового программирования (Flow Based Programming — FBP).

Как интегрировать Kafka и NiFi?

Это очень просто: находите встроенный процессор ConsumeKafka для подписки или PublishKafka для публикации, перетаскиваете его в визуальный редактор NiFi, заполняете несколько свойств — и интеграция готова.

Где можно надёжно хранить логику разработанных интеграций потоков данных NiFi?

Для этих целей служит NiFi Registry. Это дочерний проект NiFi. Компонент, который обеспечивает централизованное хранение и управление общими ресурсами для одного или нескольких экземпляров NiFi и/или MiNiFi. Ближайшая аналогия — система управления версиями, например Git, который хранит логику разработанных интеграций и преобразований в NiFi.

Нужно организовать платформу для сбора данных с датчиков производства, что вы можете предложить?

Для этого прекрасно подойдёт компонент MiNiFi. Он реализует дополнительный подход к удалённому сбору данных, который дополняет NiFi в управлении потоками данных, фокусируясь на приёме и первичной обработке данных на источнике их создания. Как следствие, компонент имеет низкие требования к ресурсам оборудования, обеспечивая выполнение на компонентах инфраструктуры IoT Edge.

Какие ОС поддерживаются?

Arenadata Streaming поддерживает CentOS 7.7 / RHEL 7.7.

Спасибо, что написали нам

Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

Получите консультацию от Arenadata

Хотите узнать больше о возможностях Arenadata Streaming или получить предложение на внедрение? Заполните форму обратной связи. Вам ответят наши специалисты, готовые предоставить полноценную консультацию о том, чем наш продукт может быть полезен вашему бизнесу.
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.