Arenadata Hadoop

Под термином Hadoop, как правило, понимается не только распределённая файловая система HDFS и менеджер ресурсов YARN, но и целый набор инструментов для работы с большими данными. Собрать такой набор инструментов так, чтобы они работали вместе, и обеспечивать их эксплуатацию — это сложная инженерная задача. Однако с использованием Arenadata Cluster Manager (ADCM) это становится легко. Благодаря ADCM вы практически сразу получите сборку Arenadata Hadoop (ADH), которая состоит из самых последних и стабильных версий продуктов фонда Apache – экосистемы больших данных: HDFS, YARN, HBase, Spark, Hive, Sqoop, Solr. Кроме того, в отличие от «ванильного Hadoop», ADH имеет систему безопасности на основе Kerberos и Rangеr c возможностью интеграции со службой Active Directory предприятия. И, конечно, в составе продукта Arenadata есть система мониторинга для непрерывного отслеживания состояния компонентов ADH.

Различия в компонентах:

• Возможность хранения данных как в реляционном виде, так и в виде файлов в распределённой иерархической сетевой файловой системе.
• Возможность обработки и хранения данных любых типов и форматов.
• Высокая доступность для следующих сервисов: HDFS, YARN.
• Наличие СУБД (Hive) для выполнения SQL подобных запросов и анализа данных, хранящихся на HDFS.
• Наличие версионной нереляционной распределённой базы данных (Hbase), работающей поверх HDFS.

• Наличие поддержки работы в кластере из множества серверов.
• Линейная горизонтальная масштабируемость.

• Нативная отказоустойчивость без доработок ПО.
• Возможность шардирования данных. Под шардированием подразумевается подход, при котором секции файлов и таблиц базы данных могут храниться на разных, физически и логически независимых серверах кластера.
• Наличие поддержки автоматического распределения данных между серверами кластера и возможность балансировки нагрузки на серверах кластера.

• Наличие инструмента управления сервисами в кластере.
• Централизованное управление кластером с возможностью выполнения следующих действий: запуск, остановка и переконфигурация сервисов в рамках всего кластера, управление ресурсами.
• Наличие инструментария пошаговой установки сервисов на любое количество хостов.
• Возможность настройки прав доступа к строкам и столбцам таблиц баз данных, отдельным файлам распределённой иерархической файловой системы. В том числе с использованием доменной авторизации по протоколу LDAP.
• Наличие пакета утилит для полной установки без доступа к интернету.

Управление жизненным циклом всех продуктов осуществляется с помощью Arenadata Cluster Manager. Этот оркестратор позволяет осуществлять установку, настройку и обновление кластеров Arenadata Hadoop.

Корпоративная версия Arenadata Hadoop интегрирована с подсистемой Arenadata Platform Security, которая поддерживает расширенную безопасность системы и данных. Это аутентификация с использованием Kerberos, интеграция с LDAP/Active Directory, поддержка авторизации доступа к объектам кластера с использованием Ranger, журналы и отчёты аудита.

Распределённая файловая система HDFS предназначена для надёжного хранения очень больших файлов. Каждый файл разбивается на последовательность блоков одинакового размера. Блоки файла реплицируются для обеспечения отказоустойчивости на различные сервера. По умолчанию фактор репликации равен трём, однако вы можете использовать помехоустойчивое кодирование, существенно снизив коэффициент репликации, например до 1,5.

Концепция «Озера данных», которую реализуют с использованием Hadoop, предполагает загрузку данных в кластер на начальном этапе с последующей обработкой. Поэтому в широком смысле поддерживаются все форматы. Однако если вы планируете реализовывать аналитическое хранилище и использовать такие инструменты, как Spark и Hive, то для них наиболее предпочтительно выбирать колоночные форматы хранения с большим количеством реализованных механизмов оптимизации: сжатие, фильтр Блума, индексирование и сортировка. Это parquet и orc.

Сейчас о максимальном объёме можно говорить только теоретически, так как его достаточно трудно достичь и опытным путём определить верхнюю границу. В открытых источниках есть примеры кластеров, которые содержат более 100 Пб данных в HDFS. По заявлению компании LinkedIn, её кластер имеет более 10 000 узлов и хранит более 500 Пб.

Да, поддерживается. Более того, сжатие рекомендуется использовать, так как это не только экономит дисковое пространство, но и повышает производительность в аналитической обработке данных.

Hadoop имеет архитектуру, очень похожую на хранилище данных MPP, но с некоторыми очевидными отличиями. В отличие от хранилища данных, Hadoop реализует концепцию «Озера данных» — это хранилище, в котором данные хранятся в исходном, т. е. необработанном, формате, обычно в виде больших двоичных объектов или файлов.

Если говорить о конкретном дистрибутиве Arenadata Hadoop, то отличий ещё меньше. В состав дистрибутива входит одна из самых популярных распределённых аналитических СУБД Hive. Создание производственного DWH на базе Hive достаточно часто и успешно реализуется во многих компаниях.

Apache Hive — это система управления базами данных на основе платформы Hadoop с открытым исходным кодом. Сегодня это одна из самых популярных распределённых СУБД с открытым исходным кодом. В качестве слоя хранения она может использовать HDFS, что позволяет ей быть эффективной в отношении таких показателей, как цена хранения и стоимость аналитической обработки больших данных. Hive поддерживает требования к транзакционной системе (ACID), что делает её исключительно близкой к классическим решениям, на которых строится DWH.

Да, в ADH для таких целей есть HBase и Phoenix.

HBase — это распределённая база данных с открытым исходным кодом, которая относится к категории «семейство столбцов» и представляет собой хранилище типа «ключ-значение» (key-value). Оно позволяет поддерживать OLTP-нагрузку в инфраструктуре Hadoop. Сочетание с Apache Phoenix, который даёт возможность выполнять SQL-запросы и строить первичные и вторичные индексы, превращает его в инструмент стека SQL-on-Hadoop.

В состав Hadoop входит СУБД Hive, которая поддерживает требования к транзакционной системе (ACID), как и любые другие распределённые реляционные СУБД.

Да. Индексы — это скорее атрибут OLTP-систем, чем OLAP. Поэтому их поддержка реализована в Apache Phoenix (входит в состав ADH).

Платформа параллельной обработки с открытым исходным кодом, которая имеет API для наиболее популярных языков программирования. Предназначена для выполнения задач инженерии данных, анализа данных и машинного обучения на кластере Hadoop.

Для машинного обучения наиболее подходящим решением является библиотека MLlib в составе Apache Spark.

Для выполнения графовой аналитики на больших данных подходящим решением является библиотека GraphX в составе Apache Spark.

Строго говоря, MLOps — это набор практик машинного обучения, который позволяет специалистам по обработке данных, исследователям, инженерам данных и другим ИТ-командам сотрудничать, в частности увеличивать темпы разработки и развёртывания моделей посредством мониторинга, проверки и управления моделями машинного обучения. Также под этим термином часто понимают применение какого-либо программного обеспечения для разработки и эксплуатации моделей машинного обучения.

Arenadata Hadoop для целей MLOps можно использовать в нескольких вариантах. Первое — как источник данных на этапах их сбора и подготовки, моделирования и обучения. Второе — как среду вычисления (инференс) для Data intensive, офлайн-моделей. И последнее — в составе Arenadata Hadoop есть Airflow, наиболее популярное средство построения конвейеров машинного обучения и эксплуатации.

Основными техническими характеристиками кластера Arenadata Hadoop являются:

• количество дискового пространства, отведённого под файловую систему HDFS (определяется в терабайтах);
• количество вычислительных ресурсов, выделенных для менеджера YARN (определяется в ядрах процессора и оперативной памяти).

Эти показатели зависят от количества узлов-обработчиков (Worker Node), которые входят в кластер, и наполнения отдельного, типового обработчика. Как правило, обработчик (Worker Node) — это отдельный, так называемый стоечный commodity-сервер с дюжиной и более дисков для HDFS в составе.

Ознакомиться с документацией можно здесь: https://hadoop.apache.org/docs/current/. Также на портале компании Arenadata есть раздел с документацией на русском языке: https://docs.arenadata.io/adh/.

Принцип построения Hadoop предполагает использование недорогих и однотипных серверов с большим количеством HDD-накопителей в режиме JBOD (подключение непосредственно в сервер). Это позволяет обеспечивать хранение более 50 Тб на одном сервере при низкой стоимости оборудования. Подробнее можно почитать в руководстве по планированию кластера: https://docs.arenadata.io/adh/install/planning.html.

Arenadata Hadoop поддерживает CentOS 7.7 / RHEL 7.7.