Новая версия Arenadata Hadoop: SQL-движок для выполнения федеративных запросов и объектное хранилище

В обновлённом ADH реализована поддержка распределённого объектного хранилища Apache Ozone. Сервис дополняет файловое хранилище HDFS в соответствии с потребностями современных дата-платформ и подходит для работы в средах, где необходима совместимость с S3. Он предоставляет как стандартный HDFS протокол для взаимодействия, так и S3 API.

Благодаря многоуровневой архитектуре Ozone обеспечивает высокую масштабируемость. Он предназначен для хранения свыше ста миллиардов объектов в одном кластере и способен эффективно обрабатывать как маленькие, так и большие файлы. Ozone отличает высокая отказоустойчивость и лёгкость восстановления, сопоставимая с HDFS; он может использовать те же политики безопасности кластера и работать вместе с HDFS на тех же хостах.

Релиз также включает Trino — SQL-движок для параллельной обработки данных, распределённых по хранилищам разного типа (объектным хранилищам, базам данных и файловым системам). Он позволяет выполнять сложные федеративные запросы — обращаться к разрозненным источникам с помощью одного и того же SQL. Поддержка Trino позволяет снизить дублирование информации и открывает новые сценарии анализа данных без увеличения затрат на инфраструктуру.

В релиз вошла новая версия Smart Storage Manager (SSM) — инструмента для оптимизации хранения и управления данными в HDFS в зависимости от их востребованности («температуры»), настройки асинхронной репликации и др. Обновлённый сервис включает ряд улучшений и доработок и готов к использованию в продуктивной среде.

Новая версия Arenadata Hadoop совместима с российской операционной системой РЕД ОС 7.3 (сертифицированной редакции). Поддержка сертифицированной ФСТЭК России операционной системы позволяет интегрировать продукт в более широкий спектр инфраструктур с повышенными требованиями к безопасности.

Вместе с обновлённым ADH представлен релиз подсистемы безопасности Arenadata Platform Security (ADPS). Версия 1.2.1 включает обновление сервиса Ranger, новое действие Add/Remove components для Knox, поддержку РЕД ОС 7.3 и другие улучшения.

Полный список изменений версии Arenadata Hadoop 3.3.6.2

Полный список изменений версии Arenadata Platform Security 1.2.1

Возможности Arenadata Hadoop

Arenadata Hadoop (ADH) — корпоративный дистрибутив на базе Apache Hadoop, предназначенный для хранения, обработки и анализа структурированных и неструктурированных данных.

Решаемые задачи:

• хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
• распределённая обработка информации;
• построение озёр и фабрик данных (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
• машинное обучение и искусственный интеллект;
• источник данных для КХД;
• импортозамещение систем западного производства.

На ADH получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.