Вышла новая версия Arenadata Hadoop с обновлёнными компонентами Hbase, Flink и Zookeeper

24.01.2023
Arenadata выпустила новую версию дистрибутива на базе Apache Hadoop, адаптированного для корпоративного использования, — Arenadata Hadoop (ADH) 2.1.7_b1. Релиз включил обновление версий компонент Hbase, Flink и Zookeeper. Также в него добавлен новый сервис Airflow2 и компонент Livy версии 0.7.1 c поддержкой работы со Spark версии 3.3.0 на Scala 2.13.
Arenadata Hadoop 2.1.7_b1 включил следующие улучшения и новый функционал:
  • возможность установить версию сервиса Flink 1.15.1, а также «по кнопке» обновиться с предыдущей версии. Пользователи смогут воспользоваться функционалом новой версии и исправить проблемы предыдущей;
  • возможность установить новую версию сервиса Hbase 2.0.4 и «по кнопке» обновиться с предыдущей версии, исправив проблемы старой версии;
  • возможность установить новую версию сервиса Zookeeper 3.5.10, а также «по кнопке» обновиться с предыдущей версии. Новая версия позволит исправить проблемы предыдущей;
  • возможность установить новый компонент сервиса Spark3 — Livy 0.7.1 c поддержкой Spark 3.3.0 на Scala 2.13 в качестве отдельного компонента параллельно Livy для Spark версии 2.3.2. В компонент добавлена возможность поддержки Spark 3.3.0 и Scala 2.13;
  • новый сервис Airflow версии 2.3.3. Он устанавливается параллельно Airflow версии 1.10.11. Это даёт возможность перенести настройки и задания с предыдущей версии;
  • поддержка кастомизации krb5.conf и ldap.conf через интерфейс Arenadata Cluster Manager (ADCM). Это даёт возможность пользователю самостоятельно средствами ADCM изменить содержимое конфигурационных файлов krb5.conf и ldap.conf. Этот функционал позволит настраивать более сложные и тонкие конфигурации керберизации и авторизации в зависимости от сложности инфраструктуры;
  • добавлена возможность принудительно отключить политики доступа HDFS ACL, если включен плагин Ranger. Это позволит использовать единую «точку правды» для организации доступа пользователей.


Александр Большаков
Директор по продуктам Arenadata

«Arenadata стремится предоставить заказчикам возможность получать последние версии компонентов Hadoop. Для нас важно, чтобы у пользователей была возможность обновить их автоматически „по кнопке“». Кроме того, наши специалисты, работая над новыми версиями Arenadata Hadoop, заботятся о том, чтобы продукт был безопасен, а его компоненты совместимы друг с другом и стабильно работали в рамках всей платформы».

В краткосрочных планах развития Arenadata Hadoop — обновление Hive до версии 3.1.3, сделать это можно будет «по кнопке». В течение 2023 года в roadmap Arenadata Hadoop будут включены поддержка отечественной ОС Astra Linux, расширение возможностей отказоустойчивости компонентов и обновление их версий. ADH станет стабильнее и безопаснее, в upstream-версии будут устранены ошибки и уязвимости информационной безопасности. Также специалисты Arenadata планируют переработать и дополнить документацию Arenadata Hadoop.

Напомним, что дистрибутив Arenadata Hadoop на базе Apache Hadoop адаптирован для корпоративного использования и предназначен для хранения и обработки слабоструктурированных и неструктурированных данных.

Читайте также

все новости
ошибка! проверьте правильно ли вы заполнили поле Email

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.