Все подробности описаны ниже в новости. Также в этом обзоре впервые рассказываем о ближайших планах развития наших продуктов (см. подраздел «В следующем релизе»).
Arenadata DB 5.x
Минорные изменения в ядре Greenplum.Исправления
- Удаление кэша отношений при перезапуске кластера
Версия: 5.29.8_arenadata18.
Дата выхода: 12.10.2022.
Arenadata DB 6.x
Поддержка российской ОС «Альт 8 СП» (8.4), новый плагин DDBoost для утилиты gpbackup/gprestore, Arenadata Command Center 3.7.0 с дополнительными метриками, интеграция с Oracle/Teradata в PXF и минорные изменения в ядре Greenplum и его компонентах (включая патчи из репозиториев Arenadata).Улучшения и новый функционал
- Поддержка ОС «Альт 8 СП» (c9f2) — российской ОС, сертифицированной ФСТЭК (доступно в EE)
Добавлена возможность установить Arenadata DB на российскую операционную систему ALT Linux 8.4 SP. Важно отметить, что установка на предыдущие версии ALT Linux с этого релиза не поддерживается, и перед установкой или апгрейдом бандл запросит обновление ОС ALT Linux до 8.4. - Плагин adb_ddp_plugin 1.0.0 (доступно в EE)
Добавлена первая версия DDBoost плагина для интеграции с системами бэкапирования Dell Data Domain. Плагин может быть активирован при запуске утилит gpbackup/gprestore. - Arenadata Command Center версии 3.7.0 (доступно в EE)
Добавлены новые total-метрики: Сpu usage total, Read bytes total, Write bytes total, которые показывают совокупное потребление этих ресурсов по окончании запроса. - PXF 6.4.2
Добавлена поддержка параллельного синтаксиса для Oracle и FastExport для Teradata и возможность в режиме отладки мониторить применение Filter Pushdown на стороне PXF. - Новые опции Custom Arenadata Repo и Docker Registry
В бандле в конфигурации кластера реализована возможность указания внутренних путей к пакетам/образам нашей сборки через новые поля Custom Arenadata enterprise repo и Use custom registry.
Исправления
- Переработан pxf cluster sync
Проведён рефакторинг и устранены проблемы с правами для вызова утилиты pxf cluster sync. - Устранены проблемы с порядком восстановления объектов через gprestore
Исправлено некорректное поведение с ошибкой, когда функция, использующая композитный тип строки таблицы, пыталась восстанавливаться до применения DDL этой таблицы. - Исправлена ошибка планировщика при определённых запросах к реплицированным таблицам, которые формировали некорректный подплан
В предыдущих релизах запросы с подпланом к волатильным функциям на распределённых реплицированных таблицах могли не выполнять шаг Gather Motion. Это вызывало формирование некорректного плана и вело к Segmentation Fault.
Дата выхода: 20.10.2022.
В следующем релизе
Добавится функционал Arenadata Backup Manager 1.x (доступно в EE) :- снятие WAL-бэкапов кластера и создание точек восстановления;
- управление расписанием резервного копирования, созданием точек восстановления и очистки;
- управление конфигурацией резевного копирования и репозиториев хранения;
- поддержка отказоустойчивости;
- поддержка работы с несколькими кластерами ADB из одного интерфейса;
- автоматическое переконфигурирование при переключениях на mirror в начале выполнения операции;
- аудит операций ADBM;
- мониторинг состояния ADBM-сервисов.
Arenadata Hadoop
Поддержка российской ОС «Альт 8 СП» (8.4), а также интеграция с Kerberos средствами FreeIPA.Улучшения и новый функционал
- Поддержка ОС «Альт 8 СП» (c9f2) — российской ОС, сертифицированной ФСТЭК (доступно в EE)
Добавлена возможность установить дистрибутивы Arenadata Hadoop на российскую операционную систему ALT Linux 8.4 SP. - Поддержка FreeIPA для контроля доступа к данным ADH
Добавлена возможность организовать защиту данных от несанкционированного доступа, используя в качестве домена инструмент FreeIPA. FreeIPA — открытый проект для создания централизованной системы по управлению идентификацией пользователей, задания политик доступа и аудита для сетей на базе Linux. - Поддержка настроек логирования сервиса HIVE
Добавлена возможность настроить легирование для сервиса Hive (местоположение файлов логов на файловой системе, а также настройки ротации). - Обновление сервиса Spark3 до версии 3.3.0
Добавлена возможность как поставить сервис новой версии 3.3.0, так и обновить кластер с предыдущей версии. Также в сервисе была обновлена Scala до версии 2.13.
Исправления
- Исправлена работа spark-sql и возможность обращаться к hive из spark при работающем Ranger Plugin
При включённом плагине ranger возникали ошибки о некорректности вызовов классов, внесено изменение, исправляющее данную проблему.
Дата выхода: 06.09.2022.
В следующем релизе
- Конфигурирование krb5.conf и ldap.conf через ADCM
Администраторы ADH получат возможность кастомизировать указанные файлы для более тонкой настройки керберизации и LDAP.
Arenadata Cluster Manager
Генерация аудит-логов безопасности в формате CEF, деактивация пользователей и новая документация.Улучшения и новый функционал
- Генерация аудит-логов безопасности в формате CEF
По требованиям информационной безопасности функционал позволяет сохранить и настроить передачу в SIEM-систему информации о действиях пользователей в Cluster Manager. - Деактивация пользователей (вместо удаления)
Для упрощения взаимодействия с LDAP/AD и сохранения целостности аудит-логов пользовательские учётные записи в Cluster manager теперь деактивируются, а не удаляются из системы. - Обновлённая документация
Актуализированная документация добавлена на обновлённый портал документации.
Исправления
- Исправлен ряд ошибок
Исправлены некоторые ошибки, возникающие при запуске action, загрузке бандлов, отображении большого количества хостов, удалении сервисов и т. д. - Закрыт ряд уязвимостей
- CVE-2022-34265
- CVE-2022-37434
- CVE-2022-30065
- CVE-2022-30065
- CVE-2021-46828
- CVE-2021-46828
- CVE-2022-29154
- CVE-2022-36359
- CVE-2022-2309
Дата выхода: 04.10.2022.
В следующем релизе
- Доступ к аудит-логам через интерфейс
Появится возможность просмотра и фильтрации аудит-логов через интерфейс Cluster Manager. - Выгрузка логов нескольких action пачкой
Для упрощения сбора диагностики появится возможность выгрузки логов сразу нескольких action одним файлом. - Переименование неиспользуемых хостов и кластеров
Появится возможность изменять имя хоста или кластера, если на нём ничего не установлено.
Arenadata Streaming
Kafka Connect, отечественная ОС, безопасность.Улучшения и новый функционал
- AltLinux 8.4 СП (доступно в EE)
Добавлена поддержка отечественной ОС. -
Kafka Connect
Добавлена поддержка Kafka Connect: теперь, используя различные коннекторы, пользователи смогут легко настраивать передачу данных из источника до приёмника. -
Ranger plugin для NiFi
Добавлен ranger plugin для NiFi: теперь пользователи смогут в одном сервисе настраивать доступ и для Kafka и для NiFi.
Дата выхода: 17.10.2022.
В следующем релизе
- Выйдет версия NiFi 1.17.
- Появится возможность добавить любой параметр для ADS продукта в ADCM.
