Обзор продуктовых релизов за январь 2025

Группа Arenadata в течение января выпустила обновления следующих продуктов: Arenadata Hadoop (ADH), Arenadata Platform Security (ADPS), Arenadata Postgres (ADPG) и Arenadata Catalog (ADC).

Arenadata Hadoop (ADH) v3.3.6.2.b1

Ключевые изменения:

• Добавлена поддержка Apache Ozone (только в enterprise-редакции) — распределённого объектного хранилища, предоставляющего стандартный HDFS-протокол взаимодействия и S3 API.
  Обеспечивает лучшие гарантии консистентности, оптимизирован для хранения свыше 100 млрд объектов в одном кластере, отличается высокой масштабируемостью, отказоустойчивостью и лёгкостью восстановления, может работать вместе с HDFS на тех же хостах.
• Добавлена поддержка Trino— SQL-движка для распределённых федеративных запросов к разрозненным источникам данных (объектным хранилищам, базам данных, файловым системам).
  Позволяет снизить дублирование информации и открывает новые сценарии анализа без увеличения затрат на инфраструктуру.

Обновления версий компонентов:

• Smart Storage Manager — 2.0.1 (production ready);
• HUE — 4.11.0_arenadata2;
• Kyuubi — 1.9.2_arenadata2;
• Spark3 — 3.5.2_arenadata2.

Новые функции:

• SPNEGO-аутентификация для Impala;
• поддержка РЕД ОС 7.3 (сертифицированная редакция) в enterprise-версии;
• возможность импортировать кластер ADH в ADS для настройки Kafka tiered storage.

Полное описание релиза

.

Arenadata Platform Security (ADPS) v1.2.1.b1

Ключевые изменения:

• Ranger обновлён до 2.5.0_arenadata2;
• поддержка РЕД ОС 7.3 (сертифицированная редакция);
• действия Add, Remove, Shrink, Expand, Move заменены на одно действие Add/Remove components для Knox.

Полное описание релиза

.

Arenadata Postgres (ADPG) v16.3.2

Улучшения и новый функционал:

• Добавлена поддержка Сертифицированной редакции РЕД ОС 7.3.
  РЕД ОС 7.3 стала третьей российской операционной системой в списке поддерживаемых ADPG.
• Для задач мажорного обновления ADPG добавлено свойство
  allow_to_terminate.
  Оно позволяет прервать их выполнение при возникновении зависаний с заданиями на обновление. Их можно прервать, исправить проблему и запустить процедуру апгрейда заново.
• Добавлены теги Patroni и возможность привязки их к различным хостам ADPG с помощью механизма Config Groups в ADCM.
  Теперь можно настроить каждый хост кластера отдельно в соответствии с его предназначением, используя теги Patroni и ADCM Config Groups. Также с помощью Config Groups можно разделить конфигурацию postgresql.conf для применения отдельных частей на определённых хостах.

Полное описание релиза

.

Arenadata Catalog (ADC) v0.8.1

Ключевые изменения:

Бизнес-глоссарий:

• Настройка использования нескольких представлений глоссария с заготовленными наборами фильтров и колонок и возможностью быстрого переключения между личными и общедоступными сохранёнными представлениями. Настроенным ракурсом обзора данных можно поделиться с другими пользователями.
• Новая вкладка «Качество данных» в карточке объекта глоссария для отображения результатов связанных тестов Data Quality.
• Возможность настройки гибких правил ввода данных для объектов глоссария. Управление требованиями к заполнению атрибутов и зависимостями между значениями атрибутов карточки объекта.
• Создание связей при импорте данных глоссария без необходимости указывать полный путь связанного или родительского объекта.
• Возможность экспорта ошибочных строк при импорте объектов в систему для внесения оперативных правок и дозагрузки данных.
• Возможность скрыть панель фильтров на странице обзора глоссария.

Качество данных:

• Возможность связи тестов качества данных с объектами глоссария для консолидации результатов выполнения проверок на уровне бизнес-объектов.

Каталог данных:

• Внедрена возможность каталогизации хранимых процедур и функций СУБД.

Коннекторы метаданных:

• Коннектор метаданных 1C.
• Для коннектора QlikSenseQvd добавлена возможность подключения к кластеру Qlik Sense Enterprise.
• Захват хранимых процедур и функций для коннекторов MS SQL и Oracle.
• Поддержка профилирования данных Picodata.
• Импорт описаний схем баз данных и баз данных для коннекторов ADB (Greenplum) и PostgreSQL.

Инфраструктурные изменения:

• Обновление Jetty до актуальной версии.
• Сбор логов выполнения загрузок метаданных в единой точке для централизованного отслеживания событий.

Полное описание релиза

.