Arenadata Streaming

В Arenadata Streaming есть система мониторинга и управления, поддержка расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Корпоративная версия Arenadata Streaming поставляется вместе с подсистемой Arenadata Platform Security, которая поддерживает расширенную безопасность системы и данных. Это аутентификация с использованием Kerberos, интеграция с LDAP/Active Directory, поддержка авторизации доступа к объектам с использованием Ranger, журналы и отчёты аудита.

В случае приобретения enterprise-редакции ПО у заказчиков Arenadata есть возможность воспользоваться дополнительными консалтинговыми услугами «DBA как услуга», «Технический аккаунт-менеджмент», «Аудит цифрового ландшафта» и Smart Start. Нашим клиентам не обязательно разворачивать и настраивать все компоненты платформы самостоятельно — инженеры Arenadata могут выполнить эти работы в полном объёме.

Кроме того, заказчикам enterprise-редакции наших продуктов мы обеспечиваем корпоративную техническую поддержку в режиме 24/7 или 8/5 в соответствии с согласованными стандартами SLA. В рамках договора фиксируется время первого ответа на обращение, гарантии по оперативной диагностике и устранению сбоев, развёрнутые консультации и помощь в установке обновлений.

• Приём и хранение сообщений с возможностью доставки сообщения нескольким потребителям.
• Возможность создания записей от нескольких издателей в один элемент хранения сообщений.
• Возможность хранения сообщений в течение настраиваемого периода времени.
• Возможность сжатия данных и настройки регламента очистки/сжатия.
• Выполнение как потоковых, так и произвольных считываний файлов.
• Наличие инструментария создания приложений для потоковой обработки данных в реальном времени.
• Возможность работы с данными любых типов и форматов.
• Поддержка потоковой аналитики при помощи подсистемы KSQL.

• Линейная горизонтальная масштабируемость.
• Возможность ведения различных очередей чтения по одному элементу хранения для различных потребителей.
• Поддержка режимов доставки сообщений «exactly one delivery», «at least once», «at most once».
• Автоматическое распараллеливание и распределение задач.
• Нативная отказоустойчивость без доработок ПО.
• Распределение данных по нескольким серверам во время загрузки.
• Возможность создания партиций в рамках элемента хранения и распределение сообщений по этим партициям по одному из по крайней мере трёх вариантов: последовательно (round-robin), согласно хэш-значению ключа или с явным указанием номера раздела.

• Возможность настройки прав доступа к очередям сообщений.
• Система развёртывания и управления кластером.
• Наличие системы визуального мониторинга ключевых метрик.

• Возможность работы как с потоками данных в реальном времени, так и с массовыми асинхронными загрузками.
• Наличие визуального средства оркестрации потоков и загрузок данных.
• Возможность переноса нагрузки на СУБД-приёмник (ELT).
• Возможность исполнения внешних скриптов, в т. ч. Python.
• Наличие встроенного средства мониторинга исполнения загрузки.
• Доступность репозитория метаданных для анализа внешними средствами.

Да, в состав Arenadata Streaming входит Apache NiFi. Это инструмент для управления потоками данных из разнообразных источников в режиме реального времени, который имеет редактор визуального проектирования для создания интеграций и преобразований.

Основой сервисной шиной предприятия (ESB) в ADS является Kafka. Для подключения к ней можно использовать встроенные процессоры NiFi или фреймворк Kafka Connect с соответствующими коннекторами.

Да, как Kafka, так и NiFi горизонтально масштабируются, а с использованием Arenadata Cluster Manager это можно сделать достаточно просто, используя графический интерфейс.

В Kafka существует два участника информационного взаимодействия, которые общаются через отказоустойчивый (fault tolerance) и распределённый брокер сообщений. Это производитель (producer) и потребитель (consumer).

Для обеспечения гарантированной доставки сообщения между производителем и брокером реализована стратегия однократной (идемпотентной) доставки сообщений «exactly once» за счёт механизма подтверждения доставки. Это значит, что сообщение гарантированно записано и реплицируемо, при этом в случае сбоя повторения не допускаются.

Потребитель (consumer) с учётом знаний о гарантированной записи и стратегии «exactly once» сам должен позаботиться о том, чтобы не обработать одну и ту же запись несколько раз, то есть это реализуется в логике приложения.

Да, Arenadata Streaming прекрасно подойдёт для этих целей. В открытых источниках различных компаний есть огромное количество публикаций, описывающих успешное решение подобной задачи с использованием стека технологий, который поставляется в ADS.

Apache Kafka — это популярный брокер сообщений с открытым исходным кодом, который реализует систему публикации сообщений и подписки на них. Он часто является основой распределённой платформы потоковой обработки.

Производители (producers) генерируют новые сообщения и записывают их в определённый топик брокера Kafka.

Потребитель подписывается на топики и читает сообщения в порядке их создания. Приложение-потребитель самостоятельно отслеживает, какие сообщения уже прочитаны, с помощью смещения (offset), которое Kafka добавляет в каждое сообщение при генерации.

В Kafka сообщения распределяются по топикам. Ближайшая аналогия топика — это таблица базы данных. Топики состоят из разделов (partitions), которые представляют собой отдельные журналы фиксации.

В состав Arenadata Streaming входит Kafka Manager — это Open Source продукт с сильным сообществом разработчиков. Он предоставляет функционал управления кластерами Kafka, топиками, а также предоставляет мониторинг показателей для брокеров, производителей и потребителей.

Для этого подходит Mirror Maker, который входит в состав Arenadata Streaming. Mirror Maker выполняет копирование одного или нескольких топиков из исходного кластера Kafka в целевой кластер Kafka.

Эту возможность предоставляет Kafka Manager, который входит в состав Arenadata Streaming.

Apache NiFi — инструмент для управления потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Это ETL-инструмент. Название — акроним Niagara Files — достаточно точно описывает концепцию NiFi, которая тесно связана с основными идеями потокового программирования (Flow Based Programming — FBP).

Это очень просто: находите встроенный процессор ConsumeKafka для подписки или PublishKafka для публикации, перетаскиваете его в визуальный редактор NiFi, заполняете несколько свойств — и интеграция готова.

Для этих целей служит NiFi Registry. Это дочерний проект NiFi. Компонент, который обеспечивает централизованное хранение и управление общими ресурсами для одного или нескольких экземпляров NiFi и/или MiNiFi. Ближайшая аналогия — система управления версиями, например Git, который хранит логику разработанных интеграций и преобразований в NiFi.

Для этого прекрасно подойдёт компонент MiNiFi. Он реализует дополнительный подход к удалённому сбору данных, который дополняет NiFi в управлении потоками данных, фокусируясь на приёме и первичной обработке данных на источнике их создания. Как следствие, компонент имеет низкие требования к ресурсам оборудования, обеспечивая выполнение на компонентах инфраструктуры IoT Edge.

Arenadata Streaming поддерживает CentOS 7.7 / RHEL 7.7.