Обзор продуктовых релизов за май — июль

Группа Arenadata обновила целый ряд своих продуктов. Улучшения коснулись Arenadata Catalog, Datacatalog BI Luxms Edition, Picodata, Arenadata DB, Arenadata Cluster Manager, Arenadata Hadoop, Arenadata Platform Security, Arenadata Streaming и Arenadata Streaming Control, Arenadata Postgres.

Arenadata DB (ADB) v 6.27.1

В состав нового релиза ADB вошли Arenadata DB Backup Manager (ADBM) версии 2.0 и Arenadata DB Control (ADBC) версии 4.8.

Ключевые изменения:

• Добавлена поддержка open source ОС Ubuntu 22.04 LTS в качестве альтернативы CentOS / RHEL 7.х.
• Реализованы дополнительные метрики мониторинга для PXF. Добавлены новые метрики для отображения текущего количества активных потоков и задач в очереди.
• Реализована поддержка SSL для ADB-Kafka-коннектора. Добавлена возможность настройки SSL-протокола путём использования существующих свойств в профиле PXF. Для аутентификации клиентов добавлены два новых свойства: KEYSTORE_LOCATION и KEYSTORE_PASSWORD. Также расширена поддержка механизмов SASL, включающая теперь SCRAM-SHA-256 и SCRAM-SHA-512.

Ключевые изменения ADBM v 2.0:

• Улучшена безопасность docker-контейнера за счёт использования параметра read_only и опции no-new-privileges.
• Реализован CLI-интерфейс для возможности управления логическими бэкапами через ADBM.
• Добавлена возможность поддержки расширения кластера ADB для ADBM.
• Добавлена возможность формирования инкрементальных бэкапов на уровне блоков.

Ключевые изменения ADBC v 4.8:

• Улучшена безопасность docker-контейнеров за счёт использования параметра read_only и опции no-new-privileges.
• Реализована поддержка работы ADQM в качестве служебной СУБД для ADBC в кластерном режиме.

Полное описание релиза

.

Arenadata Cluster Manager (ADCM) v. 2.2.0

Ключевые изменения:

• Добавлена поддержка ещё одной из наиболее популярных open source ОС Ubuntu 22.04 LTS в качестве альтернативы CentOS / RHEL 7.х, поддержка которых со стороны вендора (Red Hat) уже завершена.
• Улучшены возможности в части управления производительностью (конфигурирование ansible.cfg).
• Реализованы требования служб ИБ заказчиков по работе ADCM только по зашифрованному протоколу HTTPS при взаимодействии с внешней БД.
• Добавлено логирование user agent.
• Добавлен функционал маппинга сервисов на хосты.

Полное описание релиза

.

Arenadata Postgres (ADPG) v 14.3.7

Ключевые изменения:

• Реализована возможность создания инкрементальных бэкапов с использованием утилиты pgBackRest.
• Добавлены действия, связанные с резервным копированием и восстановлением.
• В интерфейсе ADCM появились соответствующие настройки сервиса ADPG, связанные с резервным копированием и восстановлением.

Полное описание релиза

.

Arenadata Catalog (ADC) v 0.7.0.2

Каталог данных:

• Оптимизировано отображение разделов обзорной страницы, в том числе скрытие неиспользуемых типов объектов.

Бизнес-глоссарий:

• Обновлено меню настройки представления глоссария.

Другие улучшения:

• Добавлено отображение пользовательских наименований атрибутов в уведомлениях импорта.
• Удалено отображение скрытых базовых атрибутов в шаблонах импорта и в файлах экспорта.

Полное описание релиза

.

Arenadata Catalog (ADC) v 0.7

Бизнес-глоссарий:

• Выбор значений из справочника в шаблонах импорта XLSX-формата для определения типа объекта, предметной области, глоссария и логических значений.
• Настройка набора и наименований вкладок на уровне типа объекта.
• Просмотр изменений объекта в карточке задачи согласования.
• Возможность добавить комментарий перед публикацией или удалением объекта.

Каталог данных:

• Возможность кастомизации атрибутивного состава таблиц с помощью реестра атрибутов ADC.
• Определение шаблона значений для строк и столбцов таблиц.
• Скрытие архивных объектов с диаграммы происхождения данных.

Другие изменения:

• Добавление детального сбора событий аудита в Loki.
• Добавление REST API для мониторинга очередей процессов импорта и операций группового обновления объектов.
• Реализована возможность для пользователя самостоятельно отключить себе получение email-уведомлений.

Полное описание релиза

.

Arenadata Catalog (ADC) v 0.6.4

Системные объекты:

• Возможность персонализации атрибутивного состава пользователей и команд для отражения дополнительных данных о сотрудниках и структуре организации.
• Добавлен просмотр объектов, связанных с пользователем/командой через атрибут «Сотрудник/Группа», а также возможность выбора роли пользователей при настройке уведомлений.

Бизнес-глоссарий:

• Отслеживание и фильтрация по типу события в списке задач согласования объектов глоссария.
• Настройка уникального представления для каждого типа объекта в обзоре глоссария и ширины столбцов представления.
• Отображение пользователей и команд на странице глоссария.

Каталог данных:

• Поддержка моделей данных Luxms BI 9.

Другие улучшения:

• Оптимизация swagger.

Полное описание релиза

.

Datacatalog BI Luxms Edition (DCBI) v 10.0.6

Изменения в интерфейсе пользователя:

• Добавлена кнопка «Автоматически» при создании источника и куба из файла в формате Excel: типы данных и заголовок определяются автоматически.
• Добавлена возможность создания группы дашбордов.
• В конфиге дашборда теперь можно указать having для фильтрации по условиям для рассчитанных на уровне дашборда агрегатов.
• Для дашбордов «Пирог» и «Пончик» добавлен функционал группировки части сегментов в один («Прочее»).
• Поиск в управляющем дашборде с данной версии теперь работает как поиск без автоматического выбора найденных значений. Если необходимо вернуть старое поведение, нужно указать опцию SearchAsFilter.
• Добавлена функция для выбора аппроксимации в дашборде «Пузырьки», которую можно выбрать через пункт меню дашборда «Прогнозы» или настройкой в JSON-конфиге дашборда на верхнем уровне.

Изменения в отчётах:

• Добавлено размещение итогов над данными при генерации отчёта (для этого требуется в шаблоне отчёта разместить итоги над данными).
• Реализована возможность добавить собственные named range, которые сохраняются после генерации отчёта.

Полное описание релиза

.

Демонстрация функционала

.

Datacatalog BI Luxms Edition (DCBI) v 10

7 самых значимых улучшений DCBI Luxms v 10:

• HTML-документация с интегрированным поиском.
• Возможность загружать QVD-файлы (файлы Qlik) и создавать визуализации в DCBI Luxms на основе полученных данных.
• API-токены JWT — ключи для безопасного и управляемого доступа к различным функциям DCBI Luxms через программный интерфейс API.
• Продвинутый календарь с возможностью гибко настраивать разнообразные временные интервалы, подходящие под конкретные задачи.
• Клонирование кубов, дашлетов и дашбордов с учётом сложных сценариев ролевой модели и соблюдением всех аспектов безопасности.
• Обновления ETL/ELT-инструмента Data Boring: возможность многопользовательской работы, эффективное разделение данных и повышенный уровень безопасности.
• Календарные и оконные функции LPE.

Полное описание релиза

.

Arenadata Hadoop (ADH) v 3.2.4.3.b1

Ключевые изменения:

• Добавлен новый сервис HUE (Hadoop User Experience) — веб-интерфейс экосистемы Hadoop для анализа данных. Он позволяет удобно взаимодействовать с различными базами и хранилищами данных: запрашивать, находить и анализировать данные без потери контекста. В составе дистрибутива ADH содержит преднастроенные интерпретаторы SQL для Impala, Hive, Kyuubi и Spark SQL.
• Введена поддержка Apache Iceberg — открытого формата таблиц для хранилищ данных, который обеспечивает ACID-транзакции и другие возможности. Iceberg функционирует между движком запросов и данными, таблицы Iceberg могут интегрироваться с такими движками, как Spark, Hive, Impala и др. Решает проблемы традиционных форматов таблиц (Hive), которые не могут гарантировать согласованность данных и/или имеют проблемы с производительностью. Кроме того, Iceberg позволяет отслеживать изменения в данных и откатывать хранилища к желаемому состоянию.

Доработки в контексте безопасности:

• Добавлен плагин Kyuubi AuthZ для Spark 3 — улучшенный контроль доступа к данным.
• Реализована поддержка контроллера домена Samba.
• Добавлена LDAP-аутентификация для Kyuubi и Impala.
• Доступно новое действие Manage SSL (вместо Enable/Disable SSL) для более удобного управления SSL-шифрованием для сервисов кластера ADH.

Остальные доработки:

• Введена поддержка Spark 3 и PySpark для Zeppelin.
• Обновлены версии компонентов: Kyuubi — версия 1.9.0, Impala — версия 4.4.0, Spark 3 — версия 3.4.3, Zeppelin — версия 0.11.1.

Полное описание релиза

.

Arenadata Platform Security v 1.1.2.b1

Ключевые изменения:

• Реализована поддержка контроллера домена Samba.
• Добавлен режим высокой доступности (HA) для Ranger KMS.
• Доступно новое действие Manage SSL (вместо Enable/Disable SSL) для сервисов кластера ADPS.
• Для компонентов сервисов Ranger и Knox добавлены действия на уровне хостов.

Полное описание релиза

.

Picodata v 24.4

Ключевые изменения:

• Добавлен модуль Pgproto, который позволяет подключаться к кластеру Picodata по протоколу PostgreSQL.
• Расширен перечень возможностей распределённого SQL: добавлены команды CREATE INDEX и DROP INDEX, выражение CASE, функции TRIM, TO_CHAR, TO_DATE, общие табличные выражения (CTE, common table expressions).
• Добавлен файл конфигурации в формате YAML — новый способ задавать параметры кластера и инстанса, помимо переменных окружения и аргументов командной строки.

Полное описание релиза

.

Arenadata Streaming (ADS) v 3.3.2.2

Ключевые изменения:

• Реализована поддержка Samba DC.
• Добавлена поддержка ОС Ubuntu 22.04 LTS.
• Сервис NiFi обновлён до версии 1.23.2.
• Добавлено новое кластерное действие — Restart (остановка и последующий запуск всех сервисов кластера).
• Добавлено более гибкое управление кластером ADS через интерфейс ADCM благодаря возможности выбора опций при запуске действий в кластере и сервисах.

Доработки в части безопасности:

• Изменено действие Manage Ranger plugin (добавлена возможность установить имя сервиса политик Ranger и перезаписать уже существующий сервис) для Kafka и NiFi.
• Действия Enable SSL и Disable SSL в кластере заменены на Manage SSL, выполняющее общее улучшенное управление защитой канала по протоколу SSL.

Обращаем внимание, что минимальная версия ADS, с которой может быть выполнено обновление, — 1.7.

Полное описание релиза

.

Arenadata Streaming Control (ADS Control) v 2.2.0

Ключевые изменения:

• Реализована функциональность просмотра кластера и брокера — страницы General и Brokers соответственно.
• Реализована страница обзора топиков Topics, где доступны операции очищения, удаления и создания топиков, переход к странице обзора топика.
• Добавлены новые кластерные действия — Manage Kerberos и Manage SSL.
• Реализована возможность работы с защищёнными (SSL, Kerberos) кластерами Kafka.
• Добавлена поддержка ОС Ubuntu 22.04 LTS.

Полное описание релиза

.