Arenadata Hyperwave

Гибридная архитектура, широкий набор компонентов для реализации любых современных паттернов: Data Lake, Lakehouse и Streamhouse.

  • 145Кластеры на поддержке
  • 30+ ПБОбщий объем данных
  • №4821Сертификат ФСТЭК
  • 24/7Техподдержка от вендора
Применение

Один продукт – разная архитектура

Все три парадигмы в одном дистрибутиве.

2010
2012
2018
2020
2021
2022
2023
2024
2025
2026

Data Lake

Хранение сырых данных любого формата в дешевом распределенном хранилище с легким доступом.

iconУнификация источников. Единое хранилище для IoT-данных, веб-логов и транзакций без приведения к общей схеме.

iconАналитика логов. Централизованный сбор и хранение логов из приложений и инфраструктуры, корреляция событий и оповещения по инцидентам.



iconСреда для Data Science. Доступ к сырым данным для экспериментов, разработки фич и обучения моделей.

iconДолгосрочное хранение. Исторический архив с низкой стоимостью хранения и возможностью аналитики без дополнительной миграции.

Источники
Хранение
HDFS
Движки
MapReduce
Apache Spark
Apache Hive
Сценарии
Machine Learning
Аналитика

Альтернатива импортным решениям

Сертифицированная замена зарубежных хранилищ.

НАТИВНАЯ МИГРАЦИЯ

Cloudera · HPE Data Fabric · IBM watsonx.data

Прямой и естественный переход. ADH собран на том же стеке, данные и код переносятся без изменений.

LAKEHOUSE

Databricks · Snowflake · Dremio · Starburst

Открытый Lakehouse на Apache Iceberg в вашем контуре on-prem без чужого облака.

ON-PREM

Amazon EMR · Google BigQuery · Microsoft Fabric

Возможности управляемых облачных сервисов, но на своем железе. Объектное хранилище Ozone с S3 API, SQL-движки по запросу, данные не покидают ваш контур.

ENTERPRISE DWH

Teradata · Vertica · Exasol · SAP BW/4HANA

Замена классических корпоративных хранилищ данных с переносом тяжелых аналитических нагрузок на масштабируемый Lakehouse и сохранением производительности.

  • Сертифицированный продукт

    Arenadata Hyperwave соответствует требованиям российских регуляторов.

    Сертифицирован ФСТЭК по высшему 4 уровню доверия
    4821 от 13 июня 2024

    Включен в реестр российского программного обеспечения
    6355 от 7 апреля 2020

    Зарегистирован в Роспатент
    2019660896 от 15 августа 2019

    Подробнее
  • Российские операционные системы

    Продукт поддерживает популярные OC, такие как РЕД ОС, ALT Linux и Astra Linux.

    ALT Linux10.2 SP

    РЕД ОС7.3 Сертифицированная редакция

    Astra Linux SE1.7.6 и 1.8.4, «Орел» и «Воронеж»

    А также зарубежные OC

    Ubuntu22.04 LTS

  • Аккредитация Минцифры России

    Компании Группы Arenadata включены в реестр аккредитованных организаций.

    Подробнееimage

    Безопасный код

    Одобрено к использованию в объектах критической информационной инфраструктуры (КИИ).

    image
Характеристики

Технические преимущества

ADH открывает новые возможности для вашего бизнеса.

Федерация HDFS. Несколько независимых namespace в одном кластере: горизонтальное масштабирование, разделение нагрузок и снижение стоимости эксплуатации.

Открытые форматы. Parquet, ORC, Avro, Iceberg. Данные не привязаны к конкретному движку или вендору.

Apache Ozone. S3-совместимое объектное хранилище и HDFS-интерфейс в одном сервисе.

Apache Iceberg из коробки. ACID, time travel, эволюция схемы. Готовая сборка, совместимая со Spark, Trino, Impala и Kyuubi.

Экосистема

Продуманная интеграция

Arenadata Hyperwave поставляется с коннекторами, которые поддерживают обмен данных между сервисами ADH и другими продуктами.

Streaming
Databases
Language clients & Tools
Metrics and visualization
Отличия

Отличия от Open Source

Arenadata Hyperwave обладает рядом преимуществ по сравнению с ванильными сборками Apache.

iconРегулярные бэкпорты CVE.Управление уязвимостью и обеспечение безопасности данных.

iconСогласованные версии компонентов. Все составляющие тестируются на совместимость.

iconСобственный инструмент развертывания. Arenadata Cluster Manager разработан для удобства администрирования кластера.

iconОтечественный вендор. Сертификация ФСТЭК, поддержка российских операционных систем, сервис и документация на русском языке.

Гибкость топологии. Начиная с версии 4.0 у ADH нет обязательного Hadoop-ядра, что отличает дистрибутив от классических Cloudera Distributed Hadoop (CDH) и Hortonworks Data Platform (HDP), где HDFS и YARN были обязательными компонентами.

image
Внутреннее устройство

Состав продукта

Слаженная работа компонентов обеспечивает высокую скорость обработки и надежность хранения.

Приложения
Доступ к данным
Apache Kyuubi
Hue
Apache Zeppelin
Управление
Apache Airflow
Обработка данных
Apache Hive
Apache HBase
Apache Flink
Apache Spark
Apache Solr
Trino
StarRocks
Apache Impala
Управление
Сервис
Arenadata SSM
Ресурсы
Apache Hadoop YARN
Хранение
S3-совместимое объектное хранилище
Apache Ozone
Распределённая файловая система
HDFS
Безопасность
Apache Knox
Apache Ranger
OpenBao
Kerberos
Delegation Token
Редакции

Различие редакций

Community-редакция включает основной Open Source стек без enterprise-функций безопасности и высокой доступности (High Availability).

Community Edition
Бесплатно
Enterprise Edition
Индивидуальный расчет
Сервисы
Hadoop-ядро (HDFS, YARN)

Impala, Trino, Hive, HBase, Flink, Spark, Solr

Kyuubi, Zeppelin, HUE

Airflow

S3-совместимое хранилище (Ozone)

Безопасность (Kerberos, Ranger, Knox)

Smart Storage Manager

Коннекторы
Spark-коннектор к Arenadata DB

Spark-коннектор к Arenadata QuickMarts

Отказоустойчивые режимы
Journal Nodes

ZKFC

multi-NameNode

Поддержка российских операционных систем
ALT Linux

10.2 SP

РЕД ОС

7.3 Сертифицированная редакция

Astra Linux SE

1.7.6 и 1.8.4, «Орел» и «Воронеж»

Возможности
Кросс-кластерная репликация

Многоуровневое хранение

Автоматизированное многотемпературное хранение

Техническая поддержка 24/7

СЕРВИСЫ

Профессиональные услуги

Ваша уверенность в успехе реализации проекта на каждом этапе.

Технический аккаунт-менеджмент

Технический аккаунт-менеджмент

Стратегия управления данными

Стратегия управления данными

Надежный старт

Надежный старт

Технический аудит

Технический аудит
СОПРОВОЖДЕНИЕ

Техническая поддержка

Кластер Arenadata Hyperwave под надежным контролем.

24/7

Ваши задачи решаются без пауз и задержек, независимо от времени суток.

50+

Технических экспертов с опытом администрирования и разработки высоконагруженных решений.

1000+

Мы поддерживаем более тысячи кластеров заказчиков в самых различных отраслях.

99%

Соблюдаем SLA с высоким качеством обслуживания и надежности предоставляемых услуг.

500+

Обращений в месяц решает команда технической поддержки.

2

Языка службы поддержки: русский и английский.

Ближайшие курсы

Все курсы
FAQ

Часто задаваемые вопросы

Мы всегда на связи, и если у вас остались вопросы по нашему продукту, напишите нам и мы обязательно ответим

ADH строится на таких open source Apache-компонентах, как Cloudera CDP/CDH, Hortonworks HDP, MapR (HPE Ezmeral Data Fabric) и vanilla Apache-сборки.

Отличия: регулярные бэкпорты CVE, согласованные версии компонентов, российская поддержка, собственный инструмент развертывания (ADCM), сертификация ФСТЭК и работа на российских ОС. С версии 4.0 нет обязательного Hadoop-ядра, что отличает дистрибутив от классических CDH и HDP, где HDFS и YARN были обязательными.

Hyperwave – это новое название Arenadata Hadoop. Начиная с версии ADH 4.0 расширен набор компонентов (Iceberg, Ozone, Trino, Kyuubi), что позволило убрать зависимость от Hadoop-ядра, в связи с чем было изменено название. Существующие кластеры обновляются штатно через ADCM, миграции данных не требуется.

Поддерживаются типовые сценарии миграции с Cloudera CDH/CDP, Hortonworks HDP, MapR (HPE Ezmeral Data Fabric), vanilla Apache-сборок и managed-Hadoop из облаков (AWS EMR, Azure HDInsight, GCP Dataproc). Базовые компоненты совместимы по версиям и API. Типовые шаги: установка ADH рядом с исходным кластером, перенос данных, экспорт/импорт Hive Metastore, перенос Ranger-политик.

Да, с версии 4.0. Жесткие межкомпонентные зависимости сняты, можно собрать профиль без HDFS, YARN. Типовая конфигурация для Lakehouse: Ozone как объектное хранилище, Iceberg как табличный формат, Trino и Spark как движки запросов и обработки.

Да, через Arenadata Hyperwave Cloud (ADHC) – Kubernetes-native версию платформы с разделением storage и compute. Impala, Trino запускаются в Kubernetes над stateful-слоем ADH (HDFS, Ozone). Развертывание и lifecycle сервисов идут через K8s-операторы и Helm-чарты.

Lakehouse строится на Iceberg, Ozone и движках Trino, Spark, Impala. Streamhouse-сценарии собираются на Apache Flink и Flink CDC с записью в Iceberg-таблицы. Дополнительно к ним – Apache Paimon и StarRocks как OLAP-движок для real-time запросов поверх потоковых таблиц.

Trino ADB Connector выполняет федеративные SQL-запросы из ADH к таблицам ADB без выгрузки данных. ADB Spark Connector используется для параллельного обмена данными между Spark и ADB на уровне сегментов.

Kafka Tiered Storage в Arenadata Streaming поддерживает HDFS из ADH как удаленный уровень хранения. Связка настраивается импортом конфигурации ADH-кластера в ADCM, после чего core-site.xml и hdfs-site.xml автоматически копируются в Kafka-брокеры. Закрытые сегменты логов выгружаются на HDFS, локальные диски брокеров не растут.

В очередных релизах поддерживаемых веток закрываются актуальные CVE по компонентам ADH. Сроки реакции на критические уязвимости оговариваются в рамках договора технической поддержки.

Поддержаны РЕД ОС 7.3, ALT Linux 10.2 SP, Astra Linux SE 1.7.6 и 1.8.4 («Орел» и «Воронеж»). Продукт сертифицирован ФСТЭК России (сертификат №4821 от 13.06.2024) и включен в Единый реестр российских программ (запись №6355).

Open source компоненты ADH распространяются под лицензией Apache 2.0. Данные хранятся в открытых форматах (Parquet, ORC, Iceberg) и читаются любым совместимым движком, что снижает риск вендорной привязки. Enterprise Edition требует коммерческой лицензии Arenadata.

НАЧНИТЕ СЕЙЧАС

Начните работу с Arenadata Hyperwave

Установите бесплатную community-версию