10 июля 2023Обзор продуктовых релизов за июнь 2023 года
В июне Arenadata выпустила обновления трёх продуктов: Arenadata DB, Arenadata Hadoop и Arenadata Cluster Manager. В минорном релизе Arenadata DB 6.24.3_arenadata47_b1 доступны новый функционал и дополнительные улучшения по ADB Control и ADBM. В Arenadata Hadoop доработан функционал сервиса Zeppelin, обновлены Hive, Spark3. В релизе ADCM 2023.06.14.16 реализован новый функционал, связанный с безопасностью.
Arenadata DB (ADB)
Вышел минорный релиз Arenadata DB 6.24.3_arenadata47_b1 с новым функционалом и дополнительными улучшениями по ADB Control и ADBM. В него вошли ADB Control версии 4.3.1 и Arenadata DB Backup Manager версии 1.3.1.
Улучшения и новый функционал
- ADB ClickHouse connector выведен из beta и официально анонсирован
В отличие от коннектора Tkhemali, он работает на базе фреймфорка FDW, который предоставляет расширенный API, а также позволяет производить выборку данных из ClickHouse. - Реализована функция adb_collect_table_stats для решения проблемы с NULL-значениями в db_files_current
Она позволяет идентифицировать «мусорные» файлы данных на сегментах, которые могут возникать при обрыве DML-транзакций. - Реализовано представление adb_skew_coefficients для мониторинга «перекосов» данных (skews)
В отличие от представления gp_toolkit.gp_skew_idle_fractions, которое обращалось к тяжёлым системным таблицам и сильно нагружало кластер, новое представление работает на базе оптимизированной C-функции и считает перекосы точнее, так как использует размер файлов данных, а не количество строк в качестве основы. - Arenadata DB Backup Manager 1.3.1
Добавлена возможность применить бекап кластера для другого кластера (Disaster recovery with Cold Standby). Внедрён ряд улучшений процесса бекапа: теперь можно возобновить бекап с учётом уже завершённых сегментов, сохранить конфигурацию бекапа для ручных запусков без расписания, использовать опции pgbackrest (-delta, --force, --max-process) при восстановлении из бекапа. Также улучшено структурное отображение списка процессов бекапа. - Arenadata Command Center 4.3.1
В релизе улучшена стабильность работы агентов ADCC на большой интенсивности сообщений. Для повышения безопасности добавлен аудит действий с пользователями ADCC и неуспешных входов пользователей ADB, а также проверки при смене пароля. В части мониторинга появилась генерация сигнатуры запроса sql_id, возможность архивировать кластер и приостановить сбор метрик.
Версия:
6.24.3_arenadata47_b1
Дата выхода:
30.06.2023
Описание релиза ADBControl
Описание релиза ADBM
Arenadata Hadoop (ADH)
В июне был доработан функционал сервиса Zeppelin, обновлены Hive, Spark3, добавлен новый компонент и произведены важные обновления безопасности.
Улучшения и новый функционал
- Доработки функционала сервиса Zeppelin
Добавлена поддержка пользовательских интерпретаторов Zeppelin. - Обновление Hive
Hive обновлён до версии 3.1.3_arenadata3, также для него портирован ряд важных исправлений. - Обновление Spark
Spark3 обновлён до версии 3.3.2. Добавлен компонент — Spark3 History Server. - Обновление безопасности
Версия TLS ограничена до 1.2. Добавлена поддержка SSL для Hive Metastore.
Версия:
2.1.10_b1-1
Дата выхода:
21.06.2023
Полное описание релиза
Arenadata Cluster Manager (ADCM)
Вышел релиз ADCM 2023.06.14.16, в котором были исправлены известные проблемы и реализован новый функционал, связанный с безопасностью.
- Реализован механизм защиты от многократных попыток входа в аккаунт
В случае, если пароль несколько раз был введён неверно, пользователь технически ограничивается от повторного входа. Эту опцию возможно конфигурировать в настройках. - Изменена политика паролей (password policy)
Теперь можно ограничивать длину задаваемого пароля. Эта опция конфигурируется в настройках. - Исправлены ошибки, связанные с отображением порядка объектов внутри ADCM
Улучшена стабильность.
Версия:
2023.06.14.16
Дата выхода:
14.06.2023
Полное описание релиза