Arenadata Hadoop (ADH) v3.3.6.2.b1
Ключевые изменения:
- Добавлена поддержка Apache Ozone (только в enterprise-редакции) — распределённого объектного хранилища, предоставляющего стандартный HDFS-протокол взаимодействия и S3 API.
Обеспечивает лучшие гарантии консистентности, оптимизирован для хранения свыше 100 млрд объектов в одном кластере, отличается высокой масштабируемостью, отказоустойчивостью и лёгкостью восстановления, может работать вместе с HDFS на тех же хостах. - Добавлена поддержка Trino — SQL-движка для распределённых федеративных запросов к разрозненным источникам данных (объектным хранилищам, базам данных, файловым системам).
Позволяет снизить дублирование информации и открывает новые сценарии анализа без увеличения затрат на инфраструктуру.
Обновления версий компонентов:
- Smart Storage Manager — 2.0.1 (production ready);
- HUE — 4.11.0_arenadata2;
- Kyuubi — 1.9.2_arenadata2;
- Spark3 — 3.5.2_arenadata2.
Новые функции:
- SPNEGO-аутентификация для Impala;
- поддержка РЕД ОС 7.3 (сертифицированная редакция) в enterprise-версии;
- возможность импортировать кластер ADH в ADS для настройки Kafka tiered storage.
Полное описание релиза.
Arenadata Platform Security (ADPS) v1.2.1.b1
Ключевые изменения:
- Ranger обновлён до 2.5.0_arenadata2;
- поддержка РЕД ОС 7.3 (сертифицированная редакция);
- действия Add, Remove, Shrink, Expand, Move заменены на одно действие Add/Remove components для Knox.
Полное описание релиза.
Arenadata Postgres (ADPG) v16.3.2
Улучшения и новый функционал:
- Добавлена поддержка Сертифицированной редакции РЕД ОС 7.3.
РЕД ОС 7.3 стала третьей российской операционной системой в списке поддерживаемых ADPG. - Для задач мажорного обновления ADPG добавлено свойство
allow_to_terminate.
Оно позволяет прервать их выполнение при возникновении зависаний с заданиями на обновление. Их можно прервать, исправить проблему и запустить процедуру апгрейда заново. - Добавлены теги Patroni и возможность привязки их к различным хостам ADPG с помощью механизма Config Groups в ADCM.
Теперь можно настроить каждый хост кластера отдельно в соответствии с его предназначением, используя теги Patroni и ADCM Config Groups. Также с помощью Config Groups можно разделить конфигурацию postgresql.conf для применения отдельных частей на определённых хостах.
Полное описание релиза.
Arenadata Catalog (ADC) v0.8.1
Ключевые изменения:
Бизнес-глоссарий:
- Настройка использования нескольких представлений глоссария с заготовленными наборами фильтров и колонок и возможностью быстрого переключения между личными и общедоступными сохранёнными представлениями. Настроенным ракурсом обзора данных можно поделиться с другими пользователями.
- Новая вкладка «Качество данных» в карточке объекта глоссария для отображения результатов связанных тестов Data Quality.
- Возможность настройки гибких правил ввода данных для объектов глоссария. Управление требованиями к заполнению атрибутов и зависимостями между значениями атрибутов карточки объекта.
- Создание связей при импорте данных глоссария без необходимости указывать полный путь связанного или родительского объекта.
- Возможность экспорта ошибочных строк при импорте объектов в систему для внесения оперативных правок и дозагрузки данных.
- Возможность скрыть панель фильтров на странице обзора глоссария.
Качество данных:
- Возможность связи тестов качества данных с объектами глоссария для консолидации результатов выполнения проверок на уровне бизнес-объектов.
Каталог данных:
- Внедрена возможность каталогизации хранимых процедур и функций СУБД.
Коннекторы метаданных:
- Коннектор метаданных 1C.
- Для коннектора QlikSenseQvd добавлена возможность подключения к кластеру Qlik Sense Enterprise.
- Захват хранимых процедур и функций для коннекторов MS SQL и Oracle.
- Поддержка профилирования данных Picodata.
- Импорт описаний схем баз данных и баз данных для коннекторов ADB (Greenplum) и PostgreSQL.
Инфраструктурные изменения:
- Обновление Jetty до актуальной версии.
- Сбор логов выполнения загрузок метаданных в единой точке для централизованного отслеживания событий.
Полное описание релиза.