Обзор релизов Arenadata за апрель 2022

1. Arenadata DB 6.x

Добавлены минорные изменения в ядре Greenplum, значительно обновлён фреймворк для взаимодействия с внешними системами PXF и расширена статистика планов запросов в Arenadata DB Command Center.

1.1. Улучшения и новый функционал

1.1.1. Главные изменения в Greenplum 6.20.0–6.20.1:

• зеркала можно добавлять, восстанавливать или перемещать независимо друг от друга;
• добавлен btree_gin модуль, который реализует для GIN-индекса поведение, эквивалентное B-дереву, для определённых типов данных;
• добавлен pg_trgm модуль, который предоставляет функции и операторы для определения подобия буквенно-цифрового текста на основе сопоставления триграмм;
• добавлена функция gp_array_agg, которая реализует параллельную агрегатную функцию array_agg().

1.1.2. Добавлена поддержка PXF 6.3.
Устранены основные ошибки и уязвимости PXF 6. Добавлена поддержка новых форматов: ORC без Hive и Avro Logical Types. Также реализован push-down предикатов типа varchar, API для мониторинга разных аспектов работы PXF и поддержка PXF-FDW расширения. Кроме того, командой Arenadata была добавлена возможность в PXF переопределять типы для источников Oracle, что позволяет корректно обрабатывать партиции на стороне Oracle.

1.1.3. Расширена статистика планов запросов в Arenadata DB Command Center 3.4 (ADBCC).
Теперь ADBCC предоставляет:

• EXPLAIN ANALYZE статистику для всех планов запросов;
• сжатие больших запросов на стороне расширения gpadcc перед отправкой агентам;
• новые Average-метрики мониторинга (RAM, CPU, Read/Write).

1.2. Исправления

1.2.1. Стабилизировали Tkhemali-коннектор 1.0.1.
Tkhemali-коннектор — это инструмент, который позволяет в многопоточном режиме осуществлять передачу данных из Arenadata DB (наш продукт на базе Greenplum) в Arenadata QuickMarts (наш продукт на базе ClickHouse). В коннекторе исправлены ошибки, проведён рефакторинг, добавлена поддержка PXF 6.

Версия: 6.20.1_arenadata33

Скачать дистрибутив  

2. Arenadata DB 5.x

Вышел патч-релиз Arenadata DB 5.29.5 с минорными изменениям в ядре Greenplum.

Версия: 5.29.5_arenadata18

Скачать дистрибутив

3. Arenadata Postgres

Вышел первый дистрибутив, построенный на основе популярной объектно-реляционной базы данных с открытым кодом PostgreSQL, с дополнительным функционалом, русскоязычной документацией и технической поддержкой.

3.1. Улучшения и новый функционал

3.1.1. Функционал PostgreSQL 14.2:

• поддержка реляционной, объектной и графической моделей данных;
• поддержка разных типов данных, в том числе JSON/JSONB и key-value (hstore);
• высокая производительность и поддержка конвейера запросов;
• разграничение прав доступа на уровне строк и столбцов;
• стоимостной оптимизатор планов запросов, эффективно работающий на основе собранной системной статистики;
• многоверсионность (MVCC) для обеспечения надёжной и быстрой работы в конкурентных условиях под высокой нагрузкой.

3.1.2. Расширения contrib.
Расширения пользовательских функций, операторов и типов.

3.1.3. Расширение PostGIS.
Расширение для работы с геоданными.

3.1.4. Автоматизированная установка и настройка через Arenadata Cluster Manager.
Установка, обновление и удаление сервисов, установка расширений, управление конфигурационными параметрами осуществляется с помощью интерфейса универсального оркестратора Arenadata Cluster Manager.

Версия: 14.2_arenadata1_b1

Скачать дистрибутив

4. Arenadata Cluster Manager

Реализована базовая функциональность поэтапного обновления bundle (multiphase bundle upgrade).

4.1. Улучшения и новый функционал

4.1.1. Функционал проверок перед запуском Upgrade кластера и host-провайдера.
Теперь разработчик при создании bundle продукта может добавить специфичные проверки перед запуском “Upgrade” action. В случае, если проверка «не сработает», обновление bundle не применится.

4.1.2. Возможность разработки bundle продуктов под ALT Linux 8.4.
Исправлен ansible-модуль, вызывающий systemd. Теперь появилась возможность использовать этот модуль для разработки bundle продуктов под ALT Linux 8.4. 

Версия: 2022.04.18.13

Скачать дистрибутив 

5. Arenadata LogSearch

Стабилизирована версия системы на основе движка полнотекстового поиска в режиме реального времени Opensearch, добавлены средства управления доступом и усилена безопасность.

5.1. Обновлён движок полнотекстового поиска в режиме реального времени — Opensearch 1.2.3

• 5.1.1. Обновлены log4j и log4j-core до 2.17.0.
• 5.1.2. Добавлена поддержка стартового блока в кросс-кластерной репликации.
• 5.1.3. Обработан случай для _start репликации, когда кластер-лидер имеет более высокую версию, чем кластер-последователь.
• 5.1.4. Добавлена функция остановки репликации при отключении удалённого кластера.Добавлена фильтрация исключений репликации от повторных попыток.

5.2. Обновлён инструмент визуализации данных Dashboards 1.2.3

• 5.2.1. Добавлены методы API для группировки результатов аномалий по нескольким категориям.
• 5.2.2. Реализовано сохранение и поиск результатов аномалий в пользовательский индекс.
• 5.2.3. Добавлено сохранение результатов детектора в пользовательский индекс.
• 5.2.4. Добавлена поддержка ML-библиотеки FAISS для быстрого поиска ближайших соседей и кластеризации в векторном пространстве.
• 5.2.5. Реализован механизм создания почтового сообщения из шаблона со ссылками на отчёты.

5.3. Автоматизированная установка и настройка через интерфейс Arenadata Cluster Manager

Установка, обновление и удаление сервисов, установка расширений, управление конфигурационными параметрами.

5.4. Поддержка LDAP/LDAPS

Возможность подключения по протоколу LDAP/LDAPS, централизованное управление правами пользователей.

5.5. Поддержка шифрованного соединения внутри кластера (TLS/SSL)

Все данные, которые передаются между всеми участниками кластера, шифруются, что защищает их от перехвата.

5.6. Реализована поддержка Role Based Access Control (RBAC)

Управление пользователями и группами пользователей из единой точки.

5.7. Реализован механизм настройки температурного хранения

Управление жизненным циклом данных.

Версия: 1.2.3_arenadata1_b2-1

Скачать дистрибутив