Обзор продуктовых релизов Arenadata за три месяца

Arenadata Catalog (ADC) v.0.6.1

Ключевые изменения:

Глоссарий:

• добавлено запоминание последнего рабочего глоссария пользовательской сессии;
• при выборе предметной области в боковом меню отображаются термины, для которых данное ПО указано как дополнительное.

Каталог данных:

• пользовательское описание дополнительно добавлено для таблиц, представлений, схем баз данных;
• автоматическое построение ER-диаграмм, отображение доступно на карточке схемы базы данных;
• кастомизация и настройка цвета интерфейса.

«Термины» ADC переименованы в «Объекты» для лучшего восприятия типизации глоссария. Классификаторы персональных данных приведены в соответствии с 152 -ФЗ.

Полное описание релиза.

Picodata 24.1

Ключевые нововведения:

• новая консоль администратора (picodata admin), которая подключается к локальному инстансу по unix-сокету;
• новая пользовательская SQL-консоль (picodata connect) для выполнения распределённых запросов во всём кластере;
• функция затирания устаревших файлов инстанса во время его работы (picodata run –shredding);
• поддержка разных способов ведения журнала событий Picodata;
• поддержка сложных запросов при работе с глобальными таблицами, включая соединение, объединение, условия, группировку, вложенные подзапросы.

Полный список нововведений доступен в документе CHANGELOG. Больше материалов о Picodata здесь.

Arenadata Cluster Manager (ADCM) 2.0.0

Вышла новая версия ADCM с полностью переработанным дизайном, изменённым интерфейсом и улучшенной скоростью работы. Это одно из самых существенных и заметных обновлений продукта с момента его появления.

Ключевые изменения:

• реализован новый переработанный UI/UX для улучшения пользовательского опыта;
• реализован новый API 2.0 — более масштабируемый и оптимизируемый по сравнению с предыдущей версией 1.0;
• добавлена специальная роль — ADCM Auditor — с ограниченными правами на просмотр аудит-логов;
• реализован механизм разблокировки пользователей в ADCM;
• улучшена скорость работы ADCM и рекомендовано использование внешней СУБД на базе PostgreSQL для максимальной производительности в продуктовых средах.

Полное описание релиза.

Arenadata QuickMarts (ADQM) 23.8.2.7

Ключевые изменения:

• ClickHouse обновлён до версии 23.8.2.7-lts;
• добавлен новый сервис мониторинга на основе Prometheus и дашборд General;
• ZooKeeper обновлён до версии 3.8.3;
• повышена надёжность управления шардами и репликами;
• ошибки ClickHouse теперь отображаются в задачах (jobs) ADQM.

Полное описание релиза.

Arenadata Hadoop (ADH) 3.2.4_arenadata1_b1

Ключевые изменения:

• реализована поддержка ОС Astra Linux Special Edition 1.7 в базовом режиме работы СЗИ («Орёл»);
• HDFS обновлена до версии 3.2.4 с включением дополнительных исправлений, связанных с работоспособностью Erasure Coding;
• в HDFS добавлена поддержка алгоритма сжатия zstd «из коробки»;
• обновлён ряд сервисов экосистемы, включая Airflow 2, Spark 3, Hive, Flink, HBase и др.;
• обновлена версия JDBC -драйверов для подключения Hive и Ranger к базе данных Metastore с целью поддержки актуальных версий БД;
• добавлены настройки логирования для Ranger, Solr и ZooKeeper для большего удобства конфигурирования;
• добавлен шаблон изменения Ulimits на странице конфигурации компонентов в ADCM;
• с новым релизом Arenadata Hadoop доступна и новая версия комплексной системы безопасности Arenadata Platform Security (ADPS) 1.1.0, входящий в её состав сервис Ranger обновлён до версии 2.4.

Полное описание релиза.
Полное описание релиза ADPS.

Arenadata DB (ADB) 6.26.0.53

Ключевые изменения:

• реализована поддержка ОС Astra Linux Special Edition 1.7 в базовом режиме работы СЗИ («Орёл»);
• добавлена установка кастомного пути JAVA_HOME для кластера;
• реализована поддержка Docker CE;
• формирование логов PXF происходит в формате JSON;
• добавлены новые метрики для мониторинга PXF: pxf status и uptime;
• доступна установка расширения PL/Python3u.

Полное описание релиза.

Arenadata DB Backup Manager 1.6.3

• добавлена возможность настройки SSL/TLS для сервисов ADBM;
• появилась возможность использовать протокол https для компонента ADBM;
• доработан процесс управления конфигурациями и бэкапами;
• неприменённые конфигурации сохраняются в статусе Draft;
• реализованы изменения в процедуре очистки данных (Cleanup).

Полное описание релиза.

Arenadata DB Control 4.6.4

• добавлена возможность настройки SSL/TLS для сервисов ADB Control;
• появилась возможность использовать протокол https для компонента ADB Control;
• графики перемещены на отдельную страницу Dashboard;
• изменено значения TTL (time-to-live) для таблиц ClickHouse;
• перенастроен процесс автоматической очистки внутренней БД с метриками с целью уменьшения потребления дисковых ресурсов.

Полное описание релиза.