Будем рады помочь!
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.
Arenadata Streaming (ADS) — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.
Arenadata Streaming имеет распределённую архитектуру, которая позволяет обрабатывать большие объёмы данных из различных источников, включая базы данных, устройства IoT, датчики и другие источники потоковой передачи.
Номер регистрации
Дата регистрации
Номер реестровой записи
Дата формирования
Клиентам Arenadata необязательно самостоятельно разбираться в том, как устроены продукты компании, а также в том, как реализовать проект на их основе с минимальными затратами и рисками. Мы предлагаем заказчикам экспертную помощь на всех этапах проекта.
Arenadata сопровождает заказчиков на всех этапах реализации проекта.
Наши эксперты предлагают оптимальные архитектурные и проектные решения, проводят
аудиты, формируют рекомендации и консультируют по широкому кругу технических вопросов.
У Arenadata более сотни партнёров, в числе которых облачные провайдеры, OEM-производители,
разработчики ПО, системные интеграторы и консалтинговые организации.
Каждый из них обладает экспертизой по своему направлению и понимает, как работать с
продуктами Arenadata. Наше программное обеспечение совместимо с продуктами многих вендоров,
включая российские операционные системы, системы класса BI, АБС, NRT и AI.
В учебном центре Arenadata под руководством опытных преподавателей слушатели курсов учатся установке, настройке, конфигурированию и обслуживанию наших продуктов.
Мы предлагаем курсы:
Благодаря технической зрелости и функциональности продукты нашей компании замещают решения многих иностранных вендоров.
01/
Возможность добавлять или убирать серверы в кластере без остановки работы системы, размещать разделы сообщений на нескольких или всех узлах кластера. Переключение потребителей в случае сбоя и балансировка нагрузки происходят автоматически.
02/
Для работы с потоками данных предусмотрен графический редактор, использование командной строки или написание программного кода не требуется.
03/
Возможность создавать потоки данных с поддержкой разграничения прав доступа к ним для защиты критически важной информации от несанкционированного доступа. Расширенные настройки безопасности включают использование протокола SSL/TLS, Kerberos-аутентификацию, аутентификацию пользователей графического управления потоками данных по протоколам LDAP/LDAPS.
04/
Продукт позволяет настраивать разделы для обработки потоков данных, конфигурации кластера и другие параметры. Предусмотрены коннекторы к популярным приложениям и базам данных, API и возможность разрабатывать собственные коннекторы, доступен SQL для работы с потоками данных и графический интерфейс.
05/
Продукт реализует обмен сообщениями по принципу «публикация — подписка»: отправитель публикует сообщение в специальном разделе, где оно хранится заданное количество времени и может считываться неограниченное число раз. Кластерная конфигурация позволяет реплицировать разделы между узлами, автоматически балансируя нагрузку и переключая потребителей при отказах.
06/
В отличие от других брокеров сообщений, которые удаляют информацию сразу после доставки, с Arenadata Streaming можно настраивать нужный период хранения данных.
07/
Arenadata Streaming позволяет объединять потребителей в группы, подключая их к соответствующим разделам, распределять разделы между узлами кластера и балансировать нагрузку между ними для линейного увеличения скорости считывания, надёжности и отказоустойчивости.
08/
Для установки, обновления и мониторинга мы разработали универсальный оркестратор Arenadata Cluster Manager. Он работает в автоматическом и полуавтоматическом режиме, является multi-cloud-системой и может быть развёрнут на любой имеющейся инфраструктуре, включая публичные облака.
09/
Продукт одинаково эффективно работает как со структурированными, так и с неструктурированными данными, оперируя сотнями тысяч сообщений в минуту.
10/
Содержит набор инструментов для автоматической установки и настройки компонентов на физических серверах, в облаке и в гибридных средах.
11/
Тиражируемый продукт, совместимый с upstream-версиями open source проектов.
Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и рассчитывается индивидуально.
Arenadata Cluster Manager — универсальный оркестратор гибридного ландшафта
Arenadata Cluster Manager — универсальный оркестратор гибридного ландшафта
Распределённая платформа потоковой передачи для управления приёмом, обработкой и анализом потоков данных в режиме реального времени
Распределённая платформа потоковой передачи для управления приёмом, обработкой и анализом потоков данных в режиме реального времени
Платформа интеграции для перемещения данных между Kafka и другими системами. Предоставляет масштабируемую и отказоустойчивую инфраструктуру для приёма и экспорта данных в Kafka и из неё
Платформа интеграции для перемещения данных между Kafka и другими системами. Предоставляет масштабируемую и отказоустойчивую инфраструктуру для приёма и экспорта данных в Kafka и из неё
Веб-инструмент для управления кластерами Kafka
Веб-инструмент для управления кластерами Kafka
Централизованный репозиторий для хранения и управления схемами данных, создаваемых и потребляемых Kafka. Позволяет определять, развивать и совместно использовать схемы в различных приложениях и системах
Централизованный репозиторий для хранения и управления схемами данных, создаваемых и потребляемых Kafka. Позволяет определять, развивать и совместно использовать схемы в различных приложениях и системах
Потоковый механизм SQL для обработки потоков данных в реальном времени. Позволяет запрашивать, объединять и фильтровать данные по мере их прохождения через систему, упрощая создание конвейеров данных без сложного программирования
Потоковый механизм SQL для обработки потоков данных в реальном времени. Позволяет запрашивать, объединять и фильтровать данные по мере их прохождения через систему, упрощая создание конвейеров данных без сложного программирования
Простой и масштабируемый инструмент интеграции Kafka с другими системами и технологиями, поддерживающими RESTful API
Простой и масштабируемый инструмент интеграции Kafka с другими системами и технологиями, поддерживающими RESTful API
Служба распределённой координации, используемая для управления конфигурацией и координацией кластеров. Помогает обеспечить высокую доступность и отказоустойчивость в кластерах потоковой передачи
Служба распределённой координации, используемая для управления конфигурацией и координацией кластеров. Помогает обеспечить высокую доступность и отказоустойчивость в кластерах потоковой передачи
Инструмент интеграции для автоматизации потоков данных между различными системами и технологиями. Предоставляет визуальный интерфейс для проектирования и настройки потоков данных
Инструмент интеграции для автоматизации потоков данных между различными системами и технологиями. Предоставляет визуальный интерфейс для проектирования и настройки потоков данных
Система контроля версий и управления для управления потоками данных и другими активами, созданными с помощью NiFi. Предоставляет центральный репозиторий для хранения и управления потоками, шаблонами и другими артефактами NiFi
Система контроля версий и управления для управления потоками данных и другими активами, созданными с помощью NiFi. Предоставляет центральный репозиторий для хранения и управления потоками, шаблонами и другими артефактами NiFi
Облегчённый инструмент сбора данных для сбора и предварительной обработки данных на сетевой периферии. Предназначен для работы на устройствах с ограниченными ресурсами (датчики и устройства IoT)
Облегчённый инструмент сбора данных для сбора и предварительной обработки данных на сетевой периферии. Предназначен для работы на устройствах с ограниченными ресурсами (датчики и устройства IoT)
Сервер для конфигурирования агентов MiNiFi, управляет версионными классами приложений, предоставляя REST-подобный API-интерфейс, к которому подключаются агенты для обновления конфигураций
Сервер для конфигурирования агентов MiNiFi, управляет версионными классами приложений, предоставляя REST-подобный API-интерфейс, к которому подключаются агенты для обновления конфигураций
Сетевой протокол аутентификации
Сетевой протокол аутентификации
Графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи, удобный способ управления экземплярами Kafka Connect
Графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи, удобный способ управления экземплярами Kafka Connect
Качественная сборка совместимых компонентов
Дистрибутив Arenadata Streaming включает последние и стабильные версии компонентов экосистемы Kafka и NiFi, а также дополнительные сервисы собственной разработки, они гарантированно совместимы и управляются из единого центра — Arenadata Cluster Manager.
Техническая экспертиза
Наша команда анализирует исправления багов, полученные от сообщества Kafka и NiFi, и определяет, какие из них следует включить в продукт, а также разрабатывает собственные сервисы. Мы тщательно тестируем продукты, проверяем на наличие уязвимостей и вредоносного кода, обеспечиваем их бесшовную интеграцию и корректную работу до и после обновлений.
Безопасность
В состав продукта входит комплексная система безопасности Arenadata Platform Security на базе Kerberos, Ranger и Knox. Предусмотрена настройка политик безопасности и ролевого доступа, аудит действий пользователя, управление ключами шифрования с помощью Ranger KMS. Поддерживается «из коробки» множество кластеров и сред Test/Dev/Prod с использованием Security Zones. Полностью переработана архитектура Backend.
Пользовательский веб-интерфейс для управления кластером Kafka
В состав продукта входит Arenadata Streaming Control (ADSC) — графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи. Он позволяет администраторам управлять кластерами Kafka и Kafka Connect, включая потоковую обработку и настройку, а также просматривать их состояние.
Мониторинг, реализованный на трёх уровнях
Первый уровень контролирует в Arenadata Cluster Manager работоспособность серверов и сервисов Kafka и NiFi. Второй реализован как отдельный компонент и выполняет функции по сбору и хранению метрик Kafka/NiFi и их визуализации в разработанных информационных панелях. На этом уровне поддерживается отправка уведомлений администраторам (alerting). Третий, дополнительный уровень обеспечивает мониторинг подключений с помощью ADSC.
Оригинальная интерактивная документация
Для всех продуктов Arenadata создана и постоянно поддерживается в актуальном состоянии оригинальная интерактивная документация на русском и английском языках.
ДокументацияСпециализированный коннектор для интеграции Apache Kafka с Arenadata DB. Позволяет писать и читать данные в формате AVRO из топиков Kafka. Умеет читать CSV и текстовый формат данных. Поддерживает транзакции в Arenadata DB.
Специализированный коннектор для интеграции Apache Kafka с Arenadata QuickMarts.
Позволяет писать и читать данные в формате AVRO, JSON и текстовых форматов из топиков Kafka.
Основанный на платформе сервиса Kafka Connect механизм репликации данных из исходного кластера на удалённый.
Скачайте комьюнити-версию
Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи.
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.