Arenadata Streaming (3.9.1.1. b1)
Новые сервисы
NiFi 2 2.5.0_arenadata1 — включён в дистрибутив как отдельный сервис, предназначен для ознакомления в режиме технологического превью и не рекомендован для продуктивного использования.
Что нового в NiFi 2
- Повышенная производительность и масштабируемость. Реализовано за счёт переработки ядра и оптимизации асинхронных операций, позволяет системе работать с большими объёмами данных без снижения скорости.
- Пользовательский интерфейс и управление. Интуитивно понятный интерфейс, ускоряющий настройку потоков данных, улучшенные средства мониторинга состояния потоков, обнаружения и устранения проблем.
- Безопасность. Улучшенная поддержка шифрования потоков данных, новые средства контроля доступа, расширенные возможности трекинга активности пользователей.
- Гибкая архитектура. Новые процессоры для работы с современными API, протоколами и форматами данных, упрощённое подключение собственных расширений, возможность запуска компонентов системы как отдельных сервисов.
- Поддержка облаков и контейнеризации. Глубокая интеграция с облачными платформами и простой запуск в Docker и Kubernetes.
Обновления версий сервисов
- Kafka и Kafka Connect обновлены до версии 3.9.1_arenadata1.
- Сервисы Confluent (Schema Registry, REST Proxy, ksqlDB) обновлены до версии 7.9.1.
- NiFi обновлён до версии 1.28.1_arenadata2.
Новая функциональность
- Реализована поддержка Альт СП (релиз 10).
- Расширена функциональность Iceberg Sink Connector: использование Single Message Transform (в режиме технологического превью), удаление строк в режиме UPSERT, новые параметры для извлечения операций CDC из входящей записи.
- Расширены возможности Cruise Control (новые типы аутентификации, возможность экспорта параметров в ADS Control).
- В NiFi реализован предварительно настроенный мониторинг, возможность автоматически создавать необходимые сервисы для интеграции с Kafka и Schema Registry, а также возможность настройки bootstrap-hashicorp-vault.conf с использованием ADCM.
Arenadata Cluster Manager (2.8.0)
Основные изменения
- Реализована поддержка Ansible 2.16, что позволяет устранить уязвимости и повысить безопасность.
- Добавлена возможность размещения нескольких продуктов Arenadata на одном сервере (переиспользование хостов).
- В связи с переходом на новую архитектуру прекращена поддержка API v. 1.
- Реализована совместимость с Astra Linux 1.7.6 («Воронеж») и Альт СП (релиз 10).
- Сделан редизайн страницы конфигураций — интерфейс стал понятнее и удобнее для администраторов.
Picodata (v. 25.4)
Добавлены новые возможности
- Аудит всех действий пользователей.
- Создание согласованной резервной копии кластера.
- Поддержка TLS-шифрования.
- Гибкое создание уникальных индексов для шардированных таблиц.
Новые функции повышают безопасность продукта и удобство его использования.
Arenadata Hyperwave (4.1.0.b1)
- Flink 2 — решает известные ограничения Flink 1.x в области управления состоянием и обработки гибридных рабочих нагрузок. Новая версия объединяет множество улучшений для работы как в потоковых, так и в пакетных сценариях. Новый адаптивный планировщик автоматически оптимизирует параллелизм операций, повышая общую эффективность платформы. Реализована архитектура управления дезагрегированным состоянием, которая позволяет более эффективно использовать ресурсы в облачных средах, гарантируя высокопроизводительную обработку в реальном времени и сводя к минимуму затраты ресурсов.
- Spark 4 — содержит ряд архитектурных изменений и оптимизаций, нацеленных на повышение функциональности и производительности. В числе заявленных преимуществ — улучшенная производительность при выполнении сложных аналитических запросов, расширенная интеграция с Iceberg и другими современными форматами, новые функции для работы с потоковыми данными. Кроме того, в этой версии сервис активно развивается в сторону стандартизации подходов, предоставляя новую клиент-серверную архитектуру Spark Connect, развитие совместимости с ANSI SQL и другие улучшения. С детальным обзором Spark 4 можно ознакомиться в статье С. Габдулгазиева на «Хабре».
Обратите внимание, что Flink 2 и Spark 4 предназначены для ознакомления в режиме технологического превью и в настоящее время не рекомендованы для продуктивного использования. - HAproxy для сервиса Trino — прокси-сервер и балансировщик нагрузки, применяется для обеспечения отказоустойчивости, масштабируемости и высокой доступности (принимает входящие запросы и равномерно распределяет их между узлами trino-координаторов).
- Trino Client для сервиса Trino — инструмент для взаимодействия с кластером Trino, позволяет выполнять SQL-запросы и управлять соединениями.
- Ozone Client для сервиса Ozone — консольный инструмент для взаимодействия с ozone-кластером.
Обновление версий сервисов
- Trino обновлён до версии 476_arenadata1.
Релиз включает Trino OpenAPI-коннектор — инструмент для взаимодействия с REST API, позволяющий выполнять аналитические запросы к внешним сервисам и данным, доступным через REST API. - Ozone — до версии 2.0.0_arenadata1.
- улучшенная архитектура хранения позволяет поддерживать большие объёмы данных и высокую нагрузку;
- новые алгоритмы для обработки метаданных ускоряют операции;
- обновлённые механизмы восстановления и отказоустойчивости;
- расширенная поддержка шифрования, аутентификации и контроля доступа.
- HUE — до версии 4.11.0_arenadata4.
- Kyuubi — до версии 1.10.1_arenadata2.
- Spark — до версии 3.5.4_arenadata2, а также ADB Spark connector — до версии 1.1.0-3.5.4_arenadata2.
- Hive — до версии 4.0.1_arenadata2.
- HBase — до версии 2.6.3_arenadata1.
- Phoenix — до версии 5.2.2_arenadata1, а также Phoenix Query Server — до версии 6.0.0_arenadata4.
- SSM — до версии 2.1.1.
- Solr — до версии 8.11.4_arenadata1.
Обновления сервисов, помимо изменений из апстрима, содержат ряд улучшений, доработок и багфиксов, выполненных командой разработки Arenadata.
Обновления позволили привнести в ADH следующие функциональные возможности.
Новая функциональность
- Новые операционные системы: Alt Linux 10 SP и Astra Linux 1.7 «Воронеж».
- Добавлена утилита для управления версией Java для всех сервисов.
- Преднастроены интерпретаторы HUE PySpark и HUE Flink 2, позволяющие управлять задачами через привычный веб-интерфейс и мониторить их выполнение в реальном времени.
- В мониторинг добавлены дашборды для сервисов Trino, Zeppelin, HBase, ZooKeeper, Solr.
- Доступна настройка и управление Observer NameNode в высокодоступном кластере HDFS — компонент, работающий параллельно с Active NameNode в режиме наблюдателя, что оптимизирует нагрузку на чтение.
- Добавлена возможность подготовки новых хостов (установки на них пакетов) после их добавления в кластер.
- Реализована возможность хранения паролей и учётных данных в формате JCEKS для сервиса Ozone.
- Сервис Trino теперь поддерживает политики HadoopSQL при интеграции с Ranger, что позволяет избежать дублирования настроек авторизации.
- Реализован OverwriteOnCommitProtocol для Spark3, обеспечивающий целостность данных при перезаписи таблиц или файлов.
Arenadata Platform Security (2.0.0.b1)
Новые сервисы
Добавлен сервис OpenBao 2.3.2 — система управления доступами к секретам и шифрованию. Обеспечивает возможности для хранения, генерации, шифрования, отзыва и аудита конфиденциальных данных (например, API-ключей, сертификатов, паролей), а также предоставляет средства аудита и управления политиками доступа.
Основные возможности
- Централизованное управление доступами к секретам — выступает как единая и безопасная система учёта доступов.
- Динамические учётные данные — генерирует учётные данные по запросу (например, может выдавать временный доступ к базе данных с определённым сроком действия).
- Срок действия и автоматический отзыв — все учётные данные пользователей и токены в OpenBao имеют срок действия, по истечении которого доступ автоматически отзывается, что обеспечивает ротацию учётных данных и снижает риски.
- Шифрование как сервис — предоставляет интерфейс для шифрования, расшифровки и вывода ключей без раскрытия самих ключей.
- Тонкая настройка контроля доступа — доступ к учётным данным и операциям контролируется политиками, следующими модели «запрещено по умолчанию», что гарантирует выполнение только явно разрешённых действий.
- Аудит и логирование — каждый запрос и ответ, проходящий через OpenBao, может быть зафиксирован устройствами аудита.
Обновления версий сервисов
Ranger обновлён до версии 2.6.0_arenadata2 с доработками, включающими поддержку ротации логов аудита HDFS и плагины hive-chained-plugin для HDFS и Ozone.
Новая функциональность
- Новые операционные системы: Alt Linux 10 SP и Astra Linux 1.7 «Воронеж».
- Реализовано кэширование данных LDAP-аутентификации для Knox.
- Добавлен компонент Resource mapping manager для сервиса Ranger, позволяющий сопоставлять ресурсы и права на них между Hadoop SQL и Storage (HDFS, Ozone) политиками.