Обзор релизов за сентябрь–октябрь 2022

07.11.2022
В сентябре–октябре Arenadata выпустила обновления Arenadata DB, Arenadata Hadoop, Arenadata Platform Security, Arenadata Cluster Manager и Arenadata Streaming. В новом релизе Arenadata DB 5.x вышли минорные изменения в ядре Greenplum, в Arenadata DB 6.x добавлены поддержка российской ОС «Альт 8 СП», новый плагин DDBoost для утилиты gpbackup/gprestore, Arenadata Command Center 3.7.0 с дополнительными метриками, интеграция с Oracle/Teradata в PXF, а также минорные изменения в ядре Greenplum и его компонентах.
В Arenadata Hadoop и Arenadata Platform Security обеспечены поддержка российской ОС «Альт 8 СП», а также интеграция с Kerberos средствами FreeIPA. В Arenadata Cluster Manager добавлена генерация аудит-логов безопасности в формате CEF, деактивация пользователей и новая документация. Для Arenadata Streaming обеспечена поддержка российской ОС «Альт 8 СП», добавлены поддержка Kafka Connect и ranger plugin для NiFi.

Все подробности описаны ниже в новости. Также в этом обзоре впервые рассказываем о ближайших планах развития наших продуктов (см. подраздел «В следующем релизе»).

Arenadata DB 5.x

Минорные изменения в ядре Greenplum.

Исправления

  • Удаление кэша отношений при перезапуске кластера
При определённых условиях кэш отношений (relcache) не удалялся при перезапуске кластера и вел к FATAL-ошибке доступа к таблицам.

Версия: 5.29.8_arenadata18.
Дата выхода: 12.10.2022.

Arenadata DB 6.x

Поддержка российской ОС «Альт 8 СП» (8.4), новый плагин DDBoost для утилиты gpbackup/gprestore, Arenadata Command Center 3.7.0 с дополнительными метриками, интеграция с Oracle/Teradata в PXF и минорные изменения в ядре Greenplum и его компонентах (включая патчи из репозиториев Arenadata).

Улучшения и новый функционал

  • Поддержка ОС «Альт 8 СП» (c9f2) — российской ОС, сертифицированной ФСТЭК (доступно в EE)
    Добавлена возможность установить Arenadata DB на российскую операционную систему ALT Linux 8.4 SP. Важно отметить, что установка на предыдущие версии ALT Linux с этого релиза не поддерживается, и перед установкой или апгрейдом бандл запросит обновление ОС ALT Linux до 8.4.
  • Плагин adb_ddp_plugin 1.0.0 (доступно в EE)
    Добавлена первая версия DDBoost плагина для интеграции с системами бэкапирования Dell Data Domain. Плагин может быть активирован при запуске утилит gpbackup/gprestore.
  • Arenadata Command Center версии 3.7.0 (доступно в EE)
    Добавлены новые total-метрики: Сpu usage total, Read bytes total, Write bytes total, которые показывают совокупное потребление этих ресурсов по окончании запроса.
  • PXF 6.4.2
    Добавлена поддержка параллельного синтаксиса для Oracle и FastExport для Teradata и возможность в режиме отладки мониторить применение Filter Pushdown на стороне PXF.
  • Новые опции Custom Arenadata Repo и Docker Registry
    В бандле в конфигурации кластера реализована возможность указания внутренних путей к пакетам/образам нашей сборки через новые поля Custom Arenadata enterprise repo и Use custom registry.

Исправления

  • Переработан pxf cluster sync
    Проведён рефакторинг и устранены проблемы с правами для вызова утилиты pxf cluster sync.
  • Устранены проблемы с порядком восстановления объектов через gprestore
    Исправлено некорректное поведение с ошибкой, когда функция, использующая композитный тип строки таблицы, пыталась восстанавливаться до применения DDL этой таблицы.
  • Исправлена ошибка планировщика при определённых запросах к реплицированным таблицам, которые формировали некорректный подплан
    В предыдущих релизах запросы с подпланом к волатильным функциям на распределённых реплицированных таблицах могли не выполнять шаг Gather Motion. Это вызывало формирование некорректного плана и вело к Segmentation Fault.
Версия: 6.22.0_arenadata38.
Дата выхода: 20.10.2022.

В следующем релизе

Добавится функционал Arenadata Backup Manager 1.x (доступно в EE) :
  • снятие WAL-бэкапов кластера и создание точек восстановления;
  • управление расписанием резервного копирования, созданием точек восстановления и очистки;
  • управление конфигурацией резевного копирования и репозиториев хранения;
  • поддержка отказоустойчивости;
  • поддержка работы с несколькими кластерами ADB из одного интерфейса;
  • автоматическое переконфигурирование при переключениях на mirror в начале выполнения операции;
  • аудит операций ADBM;
  • мониторинг состояния ADBM-сервисов.

Arenadata Hadoop

Поддержка российской ОС «Альт 8 СП» (8.4), а также интеграция с Kerberos средствами FreeIPA.

Улучшения и новый функционал

  • Поддержка ОС «Альт 8 СП» (c9f2) — российской ОС, сертифицированной ФСТЭК (доступно в EE)
    Добавлена возможность установить дистрибутивы Arenadata Hadoop на российскую операционную систему ALT Linux 8.4 SP.
  • Поддержка FreeIPA для контроля доступа к данным ADH
    Добавлена возможность организовать защиту данных от несанкционированного доступа, используя в качестве домена инструмент FreeIPA. FreeIPA — открытый проект для создания централизованной системы по управлению идентификацией пользователей, задания политик доступа и аудита для сетей на базе Linux.
  • Поддержка настроек логирования сервиса HIVE
    Добавлена возможность настроить легирование для сервиса Hive (местоположение файлов логов на файловой системе, а также настройки ротации).
  • Обновление сервиса Spark3 до версии 3.3.0
    Добавлена возможность как поставить сервис новой версии 3.3.0, так и обновить кластер с предыдущей версии. Также в сервисе была обновлена Scala до версии 2.13.

Исправления

  • Исправлена работа spark-sql и возможность обращаться к hive из spark при работающем Ranger Plugin
    При включённом плагине ranger возникали ошибки о некорректности вызовов классов, внесено изменение, исправляющее данную проблему.
Версия: 2.1.6_b1-1.
Дата выхода: 06.09.2022.

В следующем релизе

  • Конфигурирование krb5.conf и ldap.conf через ADCM
    Администраторы ADH получат возможность кастомизировать указанные файлы для более тонкой настройки керберизации и LDAP.

Arenadata Cluster Manager

Генерация аудит-логов безопасности в формате CEF, деактивация пользователей и новая документация.

Улучшения и новый функционал

  • Генерация аудит-логов безопасности в формате CEF
    По требованиям информационной безопасности функционал позволяет сохранить и настроить передачу в SIEM-систему информации о действиях пользователей в Cluster Manager.
  • Деактивация пользователей (вместо удаления)
    Для упрощения взаимодействия с LDAP/AD и сохранения целостности аудит-логов пользовательские учётные записи в Cluster manager теперь деактивируются, а не удаляются из системы.
  • Обновлённая документация
    Актуализированная документация добавлена на обновлённый портал документации.

Исправления

  • Исправлен ряд ошибок
    Исправлены некоторые ошибки, возникающие при запуске action, загрузке бандлов, отображении большого количества хостов, удалении сервисов и т. д.
  • Закрыт ряд уязвимостей
    • CVE-2022-34265
    • CVE-2022-37434
    • CVE-2022-30065
    • CVE-2022-30065
    • CVE-2021-46828
    • CVE-2021-46828
    • CVE-2022-29154
    • CVE-2022-36359
    • CVE-2022-2309
Версия: 2022.10.04.17.
Дата выхода: 04.10.2022.

В следующем релизе

  • Доступ к аудит-логам через интерфейс
    Появится возможность просмотра и фильтрации аудит-логов через интерфейс Cluster Manager.
  • Выгрузка логов нескольких action пачкой
    Для упрощения сбора диагностики появится возможность выгрузки логов сразу нескольких action одним файлом.
  • Переименование неиспользуемых хостов и кластеров
    Появится возможность изменять имя хоста или кластера, если на нём ничего не установлено.

Arenadata Streaming

Kafka Connect, отечественная ОС, безопасность.

Улучшения и новый функционал

  • AltLinux 8.4 СП (доступно в EE)
    Добавлена поддержка отечественной ОС.
  • Kafka Connect
    Добавлена поддержка Kafka Connect: теперь, используя различные коннекторы, пользователи смогут легко настраивать передачу данных из источника до приёмника.
  • Ranger plugin для NiFi
    Добавлен ranger plugin для NiFi: теперь пользователи смогут в одном сервисе настраивать доступ и для Kafka и для NiFi.
Версия: 1.7.1_b1.
Дата выхода: 17.10.2022.

В следующем релизе

  • Выйдет версия NiFi 1.17.
  • Появится возможность добавить любой параметр для ADS продукта в ADCM.

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.