Arenadata Hadoop стал кратно быстрее в ряде бизнес-сценариев

26.10.2023
Arenadata представила релиз Arenadata Hadoop (ADH) 3.1.2.1.b1, в который вошёл новый сервис Apache Impala — распределённая система исполнения SQL-запросов в экосистеме Hadoop. Сервис предназначен для интерактивной обработки данных на сверхбольших объёмах данных, он открывает доступ к новым сценариям использования, требующим высокой скорости исполнения запросов.
Можно выделить следующие преимущества нового функционала ADH для пользователей:
  • Скорость обработки запросов в озере данных. Impala обеспечивает низкую задержку и высокий уровень параллелизма в экосистеме Hadoop. Это позволит эффективнее решать задачи self-service аналитики и ad-hoc запросов.

  • Простота внедрения в текущую инфраструктуру. Заказчикам, у которых уже был установлен Hive, не придётся переносить данные и таблицы, так как Impala использует те же метаданные, форматы файлов и драйверы подключения.

  • Масштабирование, независимое от основного кластера Hadoop. Arenadata Hadoop предоставляет возможность развёртывания Impala вне основного кластера. Это позволяет исключить конкуренцию за аппаратные ресурсы и отдельно масштабировать аналитическую нагрузку даже в существующих инсталляциях ADH.

  • Оптимизация использования оборудования. Новый сервис поможет сократить стоимость обработки данных за счёт оптимального использования аппаратного обеспечения. Помимо этого, больше не требуется тратить ресурсы на адаптацию SQL-кода и дополнительное обучение аналитиков при миграции с Cloudera Data Platform.

  • Оптимизация ландшафта заказчика. Отдельные сценарии ad-hoc и self-service аналитики, требующие массивно-параллельной обработки, теперь возможно реализовывать локально, не нагружая ими основное хранилище данных.

АЛЕКСАНДР ЕРМАКОВ
Технический директор Arenadata

«Включение нового сервиса в Arenadata Hadoop существенно повысило производительность продукта для ряда бизнес-сценариев. Он в значительной мере отвечает требованиям заказчиков в части скорости исполнения запросов, что позволяет внедрять новые сценарии использования. В грядущих релизах ADH мы планируем расширять функциональность нового сервиса: его безопасность, доступность и интеграцию с другими компонентами, например, такими, как Arenadata Platform Security (ADPS)».

Новый релиз Arenadata Hadoop включил и другие изменения: представлено автоматическое управление высокой доступностью сервисов Hadoop, добавлен ADB Spark Connector с поддержкой Spark3, улучшен функционал керберизации кластера, позволяющий производить более детальную настройку.

Полный список изменений версии ADH 3.1.2.1.b1 >>

Читайте также

все новости
ошибка! проверьте правильно ли вы заполнили поле Email

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.