Arenadata Hyperwave расширяет возможности облачных вычислений в новом релизе ADH Cloud

Группа Arenadata представила новую версию модуля ADH Cloud в рамках развития универсальной гибридной платформы данных Arenadata Hyperwave (ADH). Релиз сфокусирован на повышении зрелости работы со Spark в Kubernetes: добавлены spark-оператор, планировщик задач и выделенный shuffle-сервис, усилены механизмы безопасности и реализовано централизованное управление через Arenadata Cloud CLI.

Модуль ADH Cloud позволяет запускать вычислительные движки Arenadata Hyperwave в среде Kubernetes, сохраняя данные и состояние кластера в базовом ADH. Версия 1.4.0 продолжает эту стратегию: если в прошлой версии акцент делался на Impala и Trino, то теперь ключевым направлением стало развитие экосистемы Spark — от управления ресурсами до анализа завершённых приложений. Релиз позволяет гибко и изолированно масштабировать аналитические нагрузки Spark в облачной инфраструктуре, сохраняя защищённый контур данных.

Для релиза разработан оператор Spark для Kubernetes, покрывающий полный жизненный цикл приложения — от развёртывания и масштабирования до автоматической очистки ресурсов. Чтобы сделать работу Spark в Kubernetes эффективной и предсказуемой, в состав ADH Cloud интегрирован планировщик ресурсов YuniKorn, позволяющий гибко управлять очередями задач и распределять ресурсы между пользователями и командами. Для веб-интерфейса YuniKorn реализована поддержка аутентификации Kerberos, SPNEGO и LDAP.

В релиз включён компонент Celeborn — удалённый shuffle-сервис для Spark в Kubernetes. Он переносит высоконагруженные операции с локальных дисков узлов во внешнее хранилище, включая HDFS, Ozone (в том числе по протоколу ofs), S3, что позволяет запускать Spark на рабочих узлах без физических локальных дисков.

Также в платформу вошёл Spark History Server для хранения и просмотра истории выполнения приложений Spark. Он позволяет анализировать логи, метрики и статусы задач даже после завершения работы приложения, не требуя доступа к контейнерам или логам отдельных подов.

«Тонкое управление вычислительными нагрузками — следующий шаг после запуска движков в Kubernetes. YuniKorn и Celeborn закрывают исторические ограничения Spark в контейнерной среде: непредсказуемое распределение ресурсов между командами и зависимость от локальных дисков»

Иван Никерин

технический менеджер продукта, Cloud & Data Services

Упрощены сбор и визуализация метрик: реализована интеграция с VictoriaMetrics и Prometheus для сбора метрик состояния оператора Kerberos. Данная функция позволяет отслеживать работоспособность и производительность инфраструктуры Kerberos на единой информационной панели наряду с другими компонентами платформы. Для сбора метрик компонентов добавлена поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape. Администратор может выбрать наиболее подходящий способ подключения в зависимости от используемой системы мониторинга (Prometheus или VictoriaMetrics) без необходимости внесения изменений в код.

Продолжена линия на усиление безопасности: разработан механизм использования предварительно созданных секретов Kubernetes с централизованным хранением для Trino, Impala, Spark, YuniKorn и Celeborn. Расширены возможности Arenadata Cloud CLI — в частности, команда adc list даёт быстрый доступ к текущему состоянию инфраструктуры без переключения между kubectl и другими инструментами.

Полный список изменений ADH Cloud 1.4.0

Возможности Arenadata Hyperwave

Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.

Решаемые задачи:

• хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
• распределённая обработка информации;
• построение озёр данных, lakehouse и data mesh (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
• машинное обучение и искусственный интеллект;
• импортозамещение и разгрузка систем зарубежных вендоров.

На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.