Будем рады помочь!
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.
Arenadata Streaming (ADS) — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi
Arenadata Streaming имеет распределённую архитектуру, которая позволяет обрабатывать большие объёмы данных из различных источников, включая базы данных, устройства IoT, датчики и другие источники потоковой передачи
Номер регистрации
Дата регистрации
Номер реестровой записи
Дата формирования
Клиентам Arenadata необязательно самостоятельно разбираться в том, как устроены продукты компании, а также в том, как реализовать проект на их основе с минимальными затратами и рисками. Мы предлагаем заказчикам экспертную помощь на всех этапах проекта
Arenadata сопровождает заказчиков на всех этапах реализации проекта.
Наши эксперты предлагают оптимальные архитектурные и проектные решения, проводят
аудиты, формируют рекомендации и консультируют по широкому кругу технических вопросов.
У Arenadata более сотни партнёров, в числе которых облачные провайдеры, OEM-производители,
разработчики ПО, системные интеграторы и консалтинговые организации.
Каждый из них обладает экспертизой по своему направлению и понимает, как работать с
продуктами Arenadata. Наше программное обеспечение совместимо с продуктами многих вендоров,
включая российские операционные системы, системы класса BI, АБС, NRT и AI.
В учебном центре Arenadata под руководством опытных преподавателей слушатели курсов учатся установке, настройке, конфигурированию и обслуживанию наших продуктов.
Мы предлагаем курсы:
Благодаря технической зрелости и функциональности продукты нашей компании замещают решения многих иностранных вендоров
01/
Возможность добавлять или убирать серверы в кластере без остановки работы системы, размещать разделы сообщений на нескольких или всех узлах кластера. Переключение потребителей в случае сбоя и балансировка нагрузки происходят автоматически.
02/
Для работы с потоками данных предусмотрен графический редактор, использование командной строки или написание программного кода не требуется.
03/
Возможность создавать потоки данных с поддержкой разграничения прав доступа к ним для защиты критически важной информации от несанкционированного доступа. Расширенные настройки безопасности включают использование протокола SSL/TLS, Kerberos-аутентификацию, аутентификацию пользователей графического управления потоками данных по протоколам LDAP/LDAPS.
04/
Продукт позволяет настраивать разделы для обработки потоков данных, конфигурации кластера и другие параметры. Предусмотрены коннекторы к популярным приложениям и базам данных, API и возможность разрабатывать собственные коннекторы, доступен SQL для работы с потоками данных и графический интерфейс.
05/
Продукт реализует обмен сообщениями по принципу «публикация — подписка»: отправитель публикует сообщение в специальном разделе, где оно хранится заданное количество времени и может считываться неограниченное число раз. Кластерная конфигурация позволяет реплицировать разделы между узлами, автоматически балансируя нагрузку и переключая потребителей при отказах.
06/
В отличие от других брокеров сообщений, которые удаляют информацию сразу после доставки, с Arenadata Streaming можно настраивать нужный период хранения данных.
07/
Arenadata Streaming позволяет объединять потребителей в группы, подключая их к соответствующим разделам, распределять разделы между узлами кластера и балансировать нагрузку между ними для линейного увеличения скорости считывания, надёжности и отказоустойчивости.
08/
Доступна офлайн-установка, набор инструментов для автоматической установки и настройки компонентов на физических серверах, в облаке и гибридных средах, а также универсальный оркестратор IT-ландшафта с удобным графическим интерфейсом Arenadata Cluster Manager.
09/
Продукт одинаково эффективно работает как со структурированными, так и с неструктурированными данными, оперируя сотнями тысяч сообщений в минуту.
10/
Поступающие «горячие» данные располагаются в локальной файловой системе, а далее, согласно заданным политикам, переносятся во внешнюю систему, адаптированную для долгосрочного хранения «холодных» данных (в качестве внешней системы поддерживаются HDFS и S3).
11/
Позволяет управлять метаданными внутри Kafka, устраняя зависимость от внешнего сервиса ZooKeeper.
Использование KRaft упрощает управление Kafka, сокращает целевое время восстановления системы и кратно
увеличивает доступное число партиций, поддерживаемых одним кластером.
Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и рассчитывается индивидуально
Arenadata Cluster Manager — универсальный оркестратор гибридного ландшафта
Arenadata Cluster Manager — универсальный оркестратор гибридного ландшафта
Распределённая платформа потоковой передачи для управления приёмом, обработкой и анализом потоков данных в режиме реального времени
Распределённая платформа потоковой передачи для управления приёмом, обработкой и анализом потоков данных в режиме реального времени
Платформа интеграции для перемещения данных между Kafka и другими системами. Предоставляет масштабируемую и отказоустойчивую инфраструктуру для приёма и экспорта данных в Kafka и из неё
Платформа интеграции для перемещения данных между Kafka и другими системами. Предоставляет масштабируемую и отказоустойчивую инфраструктуру для приёма и экспорта данных в Kafka и из неё
Веб-инструмент для управления кластерами Kafka
Веб-инструмент для управления кластерами Kafka
Централизованный репозиторий для хранения и управления схемами данных, создаваемых и потребляемых Kafka. Позволяет определять, развивать и совместно использовать схемы в различных приложениях и системах
Централизованный репозиторий для хранения и управления схемами данных, создаваемых и потребляемых Kafka. Позволяет определять, развивать и совместно использовать схемы в различных приложениях и системах
Потоковый механизм SQL для обработки потоков данных в реальном времени. Позволяет запрашивать, объединять и фильтровать данные по мере их прохождения через систему, упрощая создание конвейеров данных без сложного программирования
Потоковый механизм SQL для обработки потоков данных в реальном времени. Позволяет запрашивать, объединять и фильтровать данные по мере их прохождения через систему, упрощая создание конвейеров данных без сложного программирования
Простой и масштабируемый инструмент интеграции Kafka с другими системами и технологиями, поддерживающими RESTful API
Простой и масштабируемый инструмент интеграции Kafka с другими системами и технологиями, поддерживающими RESTful API
Служба распределённой координации, используемая для управления конфигурацией и координацией кластеров. Помогает обеспечить высокую доступность и отказоустойчивость в кластерах потоковой передачи
Служба распределённой координации, используемая для управления конфигурацией и координацией кластеров. Помогает обеспечить высокую доступность и отказоустойчивость в кластерах потоковой передачи
Инструмент интеграции для автоматизации потоков данных между различными системами и технологиями. Предоставляет визуальный интерфейс для проектирования и настройки потоков данных
Инструмент интеграции для автоматизации потоков данных между различными системами и технологиями. Предоставляет визуальный интерфейс для проектирования и настройки потоков данных
Система контроля версий и управления для управления потоками данных и другими активами, созданными с помощью NiFi. Предоставляет центральный репозиторий для хранения и управления потоками, шаблонами и другими артефактами NiFi
Система контроля версий и управления для управления потоками данных и другими активами, созданными с помощью NiFi. Предоставляет центральный репозиторий для хранения и управления потоками, шаблонами и другими артефактами NiFi
Облегчённый инструмент сбора данных для сбора и предварительной обработки данных на сетевой периферии. Предназначен для работы на устройствах с ограниченными ресурсами (датчики и устройства IoT)
Облегчённый инструмент сбора данных для сбора и предварительной обработки данных на сетевой периферии. Предназначен для работы на устройствах с ограниченными ресурсами (датчики и устройства IoT)
Сервер для конфигурирования агентов MiNiFi, управляет версионными классами приложений, предоставляя REST-подобный API-интерфейс, к которому подключаются агенты для обновления конфигураций
Сервер для конфигурирования агентов MiNiFi, управляет версионными классами приложений, предоставляя REST-подобный API-интерфейс, к которому подключаются агенты для обновления конфигураций
Сетевой протокол аутентификации
Сетевой протокол аутентификации
Качественная сборка совместимых компонентов
Дистрибутив Arenadata Streaming включает последние и стабильные версии компонентов экосистемы Kafka и NiFi, а также дополнительные сервисы собственной разработки, они гарантированно совместимы и управляются из единого центра — Arenadata Cluster Manager.
Техническая экспертиза
Наша команда анализирует исправления багов, полученные от сообщества Kafka и NiFi, и определяет, какие из них следует включить в продукт, а также разрабатывает собственные сервисы. Мы тщательно тестируем продукты, проверяем на наличие уязвимостей и вредоносного кода, обеспечиваем их бесшовную интеграцию и корректную работу до и после обновлений.
Безопасность
В состав продукта входит комплексная система безопасности Arenadata Platform Security на базе
Kerberos, Ranger и Knox. Предусмотрена настройка политик безопасности и ролевого доступа,
аудит действий пользователя, управление ключами шифрования с помощью Ranger KMS.
Поддерживается «из коробки» множество кластеров и сред Test/Dev/Prod с использованием
Security Zones. Полностью переработана архитектура Backend.
Плагин kafka-rest-security для авторизации в сервисе Kafka REST Proxy позволяет проходить аутентификацию в Kafka с разными принципалами, что упрощает контроль доступа пользователей к ресурсам.
Пользовательский веб-интерфейс для управления кластером Kafka
В состав продукта входит Arenadata Streaming Control (ADSC) — графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи. Он позволяет администраторам управлять кластерами Kafka и Kafka Connect, включая потоковую обработку и настройку, а также просматривать их состояние.
Сервис Monitoring
Мониторинг в Arenadata Streaming реализован в два уровня:
1. Сбор и хранение системных метрик на уровне хостов.
2. Сбор и хранение метрик от Kafka и NiFi и отображение их в разработанных панелях мониторинга.
Также мониторинг может выполняться на уровне приложений NiFi и Kafka.
Оригинальная интерактивная документация
Для всех продуктов Arenadata создана и постоянно поддерживается в актуальном состоянии оригинальная интерактивная документация на русском и английском языках.
ДокументацияСпециализированный коннектор для интеграции Apache Kafka с Arenadata DB. Позволяет писать и читать данные в формате AVRO из топиков Kafka. Умеет читать CSV и текстовый формат данных. Поддерживает транзакции в Arenadata DB.
Специализированный коннектор для интеграции Apache Kafka с Arenadata QuickMarts.
Позволяет писать и читать данные в формате AVRO, JSON и текстовых форматов из топиков Kafka.
Основанный на платформе сервиса Kafka Connect механизм репликации данных из исходного кластера на удалённый.
Коннекторы для реализации функциональности захвата изменений данных (change data capture — CDC). Source-коннекторы Debezium собирают изменения в базах данных, записывая их в топики Kafka, а далее различные sink-коннекторы могут передавать эти данные в другие базы и хранилища. Предусмотрена возможность использовать доступные «из коробки» коннекторы и добавлять собственные.
Система централизованного управления политиками безопасности кластера. Формирует комплексную систему безопасности, включая управление доступом на основе политик, авторизацию и безопасный доступ к платформе и ее сервисам. Это помогает организациям защищать конфиденциальные данные и обеспечивать соответствие нормативным требованиям.
Графический пользовательский веб-интерфейс для управления кластерами потоковой передачи. Поддерживает управление несколькими кластерами ADS, в которых установлены сервисы Kafka и Kafka Connect, с возможностью создания, редактирования и удаления коннекторов. Обеспечивает контроль над потоками данных, позволяет отслеживать ключевые показатели кластеров, быстрее находить и устранять ошибки.
Скачайте комьюнити-версию
Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.