В новой версии реализована предварительная поддержка федерации — архитектурной модели, в которой несколько независимых систем работают как единый механизм, сохраняя автономность. Теперь в Arenadata Hyperwave доступна возможность объединять кластеры в федерацию HDFS и YARN — это позволяет равномерно распределять нагрузку в крупных инсталляциях, поддерживая несколько меньших кластеров вместо одного большого. Систему можно горизонтально масштабировать без простоев, а глобальное пространство имён выступает в качестве точки входа, обеспечивая единое логическое представление данных.
«Релиз формирует фундамент для двух ключевых enterprise-сценариев: масштабирование через федерацию и отказоустойчивость через репликацию. Мы целенаправленно двигаем платформу в сторону архитектуры, где компоненты могут работать на разных физических кластерах, но управляться как единая система. А в следующем релизе мы добавим ещё больше гибкости за счёт возможности деплоя вычислительных компонентов в Kubernetes, сохраняя при этом интеграцию с текущим кластером».
В релизе обновлён инструмент для оптимизации хранения и управления данными Smart Storage Manager. Теперь SSM предоставляет механизм для репликации метаданных Hive Metastore, расположенных в разных кластерах Arenadata Hyperwave. Опция позволяет синхронизировать метаданные между инстансами, повышая отказоустойчивость и сокращая время восстановления, являясь технологической основой для проектов Disaster Recovery, в том числе на географически распределённых кластерах.
«Ранее Smart Storage Manager уже умел реплицировать данные между двумя независимыми кластерами Arenadata Hyperwave. Появление репликации метаданных Hive Metastore делает Smart Storage Manager законченным решением как для организации disaster-recovery-сценариев, так и для передачи данных в архитектурах Lakehouse (включая iceberg-таблицы) и Data Lake. Особо отмечу простоту использования: чтобы настроить репликацию, достаточно добавить два правила в графическом интерфейсе Smart Storage Manager».
В новой версии Arenadata Hyperwave реализована поддержка режима высокой доступности Ozone S3 Gateway — компонента, предоставляющего S3-совместимый интерфейс к объектному хранилищу. Для этого добавлен сервис HAProxy, который позволяет переключаться между несколькими экземплярами S3 Gateway и обслуживать запросы без потери данных, гарантируя непрерывный доступ.
Поддерживается альтернативный способ установки кластера, включающий предустановку некоторых настроек, таких как SSL и Kerberos, — с помощью ADCM Wizard. Добавлено действие, позволяющее изменить распределение компонентов во всём кластере, — Add/Remove components. Это отменяет необходимость выполнять данное действие для каждого сервиса в случае выхода из строя нескольких хостов. Кроме того, доступна опция обновления кластеров с пропуском версии (от 4.0.0 к 4.2.0).
Вместе с Arenadata Hyperwave выпущен релиз подсистемы безопасности Arenadata Platform Security (ADPS). В версии ADPS 2.1.0 обновлён сервис Ranger, добавлена возможность автоматической установки Java из репозитория Arenadata и поддержка Ansible 2.16.
Полный список изменений версии Arenadata Hyperwave 4.2.0.
Полный список изменений версии Arenadata Platform Security 2.1.0.
Возможности Arenadata Hyperwave
Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.
Решаемые задачи:
- хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
- распределённая обработка информации;
- построение озёр данных, Lakehouse и Data Mesh (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
- машинное обучение и искусственный интеллект;
- импортозамещение и разгрузка систем зарубежных вендоров.
На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.