Система хранения и обработки неограниченного объёма данных

Под термином Hadoop, как правило, понимается не только распределённая файловая система HDFS и менеджер ресурсов YARN, но и целый набор инструментов для работы с большими данными. Собрать такой набор инструментов, чтобы они работали вместе, и обеспечивать их эксплуатацию — сложная инженерная задача. Однако c использованием Arenadata Cluster Manager (ADCM) это становится легко. Благодаря ADCM вы практически сразу получите сборку Arenadata Hadoop (ADH), которая состоит из самых последних и стабильных версий продуктов фонда Apache — экосистемы больших данных: HDFS, YARN, HBase, Spark, Hive, Sqoop, Solr, Impala. Кроме того, в отличие от Hadoop, ADH имеет систему безопасности на основе Kerberos, Rangеr и Knox c возможностью интеграции со службой Active Directory предприятия. И, конечно, в составе продукта Arenadata есть система мониторинга для непрерывного отслеживания состояния компонентов ADH.

Различия в компонентах:

• Возможность хранения данных как в реляционном виде, так и в виде файлов в распределённой иерархической сетевой файловой системе.
• Возможность обработки и хранения данных любых типов и форматов.
• Высокая доступность для следующих сервисов: HDFS, YARN.
• Наличие системы безопасности Arenadata Platform Security на базе Kerberos, Ranger и Knox с возможностью интеграции со службой Active Directory предприятия.
• Наличие СУБД (Hive) для выполнения SQL запросов и анализа данных, хранящихся на HDFS.
• Наличие версионной нереляционной распределённой базы данных (Hbase), работающей поверх HDFS.
• Поддержка Apache Impala — распределенной системы исполнения SQL-запросов в экосистеме Hadoop.
• Поддержка Flink — популярной распределённой платформы обработки потоков данных.
• Наличие ADB Spark Connector, предоставляющего возможность высокоскоростного параллельного обмена данными между Apache Spark и Arenadata DB — аналитической распределённой СУБД на базе МРР-системы с открытым исходным кодом Greenplum.

• Поддержка работы в кластере из множества серверов.
• Линейная горизонтальная масштабируемость.
• Возможность вынести аналитическую нагрузку за пределы основного кластера благодаря Impala.

• Нативная отказоустойчивость без доработок ПО.
• Наличие поддержки автоматического распределения данных между серверами кластера и возможность балансировки нагрузки на серверах кластера.

• Инструмент управления сервисами в кластере.
• Централизованное управление кластером с возможностью выполнения следующих действий: запуск, остановка и переконфигурация сервисов в рамках всего кластера, управление ресурсами.
• Инструментарий пошаговой установки сервисов на любое количество хостов.
• Настройка прав доступа к строкам и столбцам таблиц баз данных, отдельным файлам распределённой иерархической файловой системы, в том числе с использованием доменной авторизации по протоколу LDAP.
• Пакет утилит для полной установки без доступа к интернету.
• Установка, настройка и обновление кластеров Arendata Hadoop осуществляется с помощью универсального оркестратора гибридного ландшафта Arenadata Cluster Manager

Корпоративная версия Arenadata Hadoop интегрирована с системой централизованного управления политиками безопасности кластера Arenadata Platform Security (ADPS). ADPS включает следующие компоненты безопасности:

• аутентификацию с использованием Kerberos, интеграцию с LDAP/Active Directory,
• интеграцию с Apache Knox и Ranger для обеспечения безопасного доступа к кластерам Hadoop,
• журналы и отчёты аудита.

Вместе эти компоненты ADPS обеспечивают комплексный подход к безопасности, включающий защиту периметра, управление доступом на основе политик, авторизацию и безопасный доступ к платформе и ее сервисам. Это помогает бизнесу защитить конфиденциальные данные и обеспечить соответствие нормативным требованиям.

Распределённая файловая система HDFS предназначена для надёжного хранения очень больших файлов. Каждый файл разбивается на последовательность блоков одинакового размера. Блоки файла реплицируются для обеспечения отказоустойчивости на различные сервера.

Концепция «Озера данных», которую реализуют с использованием Hadoop, предполагает загрузку данных в кластер на начальном этапе с последующей обработкой. Поэтому в широком смысле поддерживаются все форматы. Однако если вы планируете реализовывать аналитическое хранилище и использовать такие инструменты, как Spark, Hive, Impala, то для них наиболее предпочтительно выбирать колоночные форматы хранения с большим количеством реализованных механизмов оптимизации — это parquet и orc.

Сейчас о максимальном объёме можно говорить только теоретически, так как его достаточно трудно достичь и опытным путём определить верхнюю границу. В открытых источниках есть примеры кластеров, которые содержат более 100 Пб данных в HDFS. По заявлению компании LinkedIn, её кластер имеет более 10 000 узлов и хранит более 500 Пб.

Да, поддерживается. Более того, сжатие рекомендуется использовать, так как это не только экономит дисковое пространство, но и повышает производительность в аналитической обработке данных.

Apache Hive — это распределённая система выполнения SQL-запросов в экосистеме Hadoop. В качестве слоя хранения она может использовать HDFS, что позволяет ей быть эффективной в отношении таких показателей, как цена хранения и стоимость аналитической обработки больших данных.

HBase — это распределённая база данных с открытым исходным кодом, которая относится к категории «семейство столбцов» и представляет собой хранилище типа key-value. Оно позволяет поддерживать OLTP-нагрузку в инфраструктуре Hadoop. Сочетание с Apache Phoenix, который даёт возможность выполнять SQL-запросы и строить первичные и вторичные индексы, превращает его в инструмент стека SQL-on-Hadoop.

Платформа параллельной обработки с открытым исходным кодом, которая имеет API для наиболее популярных языков программирования. Предназначена для выполнения задач инженерии данных, анализа данных и машинного обучения на кластере Hadoop.

Распределённая система исполнения SQL-запросов в экосистеме Hadoop. Предназначена для массивно-параллельной обработки (МРР) больших объёмов данных в режиме реального времени. Позволяет выполнять интерактивные запросы к данным, хранящимся в HDFS. Impala разработана для простоты использования и интеграции с существующими инструментами BI и аналитики. Поддерживает стандартные SQL-запросы и JDBC/ODBC-драйверы для простой интеграции с широким спектром приложений.

Инструмент для оптимизации хранения и управления данными, расширяющий возможности распределённой файловой системы HDFS.

Основные сценарии:

• Асинхронная репликация данных между разными Hadoop-кластерами или между Hadoop-кластером и облачным хранилищем.
• Оптимизация управления данными в зависимости от их востребованности (температуры).
• Гибкая настройка включения Erasure Coding с помощью политик и правил.
• Оптимизация потребления памяти при работе с небольшими файлами.

Распределённый многопользовательский шлюз для предоставления serverless SQL для DWH и DataLake.
Создаёт распределённые механизмы SQL-запросов поверх различных вычислительных платформ (Spark, Flink, Hive, Impala и др.), чтобы получать и обрабатывать большие наборы данных из разнородных источников.

Основные возможности:

• Сквозная поддержка доступа нескольких пользователей через единую систему аутентификации и авторизации.
• Высокая доступность (НА) enterprise-уровня благодаря балансировке нагрузки.
• Поддержка разнородных рабочих нагрузок в рамках одной платформы, одной копии данных и одного интерфейса SQL.

В состав ADH входит распределённая система выполнения SQL-запросов Hive, которая поддерживает требования к транзакционной системе (ACID), как и любые другие распределённые реляционные СУБД.

Да, в ADH для таких целей есть HBase и Phoenix.

Да. Индексы — это скорее атрибут OLTP-систем, чем OLAP. Поэтому их поддержка реализована в Phoenix, входящем в состав ADH.

Для машинного обучения наиболее подходящим решением является библиотека MLlib в составе Spark.

Для выполнения графовой аналитики на больших данных подходящим решением является библиотека GraphX в составе Spark.

Строго говоря, MLOps — это набор практик машинного обучения, который позволяет специалистам по обработке данных, исследователям, инженерам данных и другим ИТ-командам сотрудничать, в частности увеличивать темпы разработки и развёртывания моделей посредством мониторинга, проверки и управления моделями машинного обучения. Также под этим термином часто понимают применение какого-либо программного обеспечения для разработки и эксплуатации моделей машинного обучения.

Arenadata Hadoop для целей MLOps можно использовать в нескольких вариантах. Первое — как источник данных на этапах их сбора и подготовки, моделирования и обучения. Второе — как среду вычисления (инференс) для Data Intensive, офлайн-моделей. И последнее — в составе Arenadata Hadoop есть Airflow, наиболее популярное средство построения конвейеров машинного обучения и эксплуатации.

Основными техническими характеристиками кластера Arenadata Hadoop являются:

• количество дискового пространства, отведённого под файловую систему HDFS (определяется в терабайтах);
• количество вычислительных ресурсов, выделенных для менеджера YARN (определяется в ядрах процессора и оперативной памяти).

Принцип построения Hadoop предполагает использование недорогих и однотипных серверов с большим количеством HDD-накопителей в режиме JBOD (подключение непосредственно в сервер). Это позволяет обеспечивать хранение более 50 Тб на одном сервере при низкой стоимости оборудования.

Официальная документация по продукту ADH доступна на портале: https://docs.arenadata.io/ru/ADH/current/introduction/intro.html

Вы также можете ознакомиться с документацией к Apache Hadoop: https://hadoop.apache.org/docs/current/