Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы

Получите расширенные знания по сервисам экосистемы Hadoop и работе с компонентами обработки и анализа данных

• Установка и настройка HBase, выполнение базовых CRUD-операции, анализ состояния кластера, использование утилиты check и repair.
• Выполнение SQL-операции в Phoenix, создание таблиц и индексов, оптимизация запросов.
• Настройка Hive, выполнение DDL/DML-операции, конфигурирование High Availability HiveServer2.
• Применение оптимизационных подходов к реальным запросам, анализ плана выполнения.
• Установка и настройка Impala, выполнение запросов и анализ их планов.
• Написание простых программ на PySpark, выполнение трансформации и действий.
• Настройка Spark, анализ выполнения задач в Spark UI, запуск джобы через CLI и скрипты.
• Отправка заданий на Spark через Livy API, управление сессиями и получение результов.
• Установка и конфигурирование Kyuubi, выполнение SQL-операций.
• Настройка HUE и использование интерфейса для работы с Hive, HDFS, Impala и Spark.
• Создание и управление Iceberg-таблицами, работа с партиционированием и снапшотами.
• Установка и конфигурирование Trino, выполнение запросов к различным источникам данных.
• Настройка взаимодействия Hive, Spark, HBase, Trino, Kyuubi и Iceberg в едином контуре.

Курс актуален администраторам СУБД, архитекторам, разработчикам баз данных, инженерам данных, руководителям.

Для успешного освоения курса рекомендуется, чтобы слушатель:

• прошел курс «Эксплуатация Arenadata Hyperwave ч1 Базовые компоненты» (либо имел знания в сопоставимом объеме);
• имел базовые знания Linux (работа с консолью, файловой системой, пользователями, сетевыми настройками);
• понимал основные принципы сетевых взаимодействий (IP-адресация, DNS, SSH, порты);
• обладал начальными знаниями об архитектуре распределённых систем и принципах хранения данных;
• умел читать и редактировать конфигурационные файлы (YAML, XML, INI);
• имел представление о Big Data-концепциях — что такое Data Lake, Data Warehouse, партиционирование данных, отказоустойчивость;
• имел базовые знания SQL (SELECT, JOIN, фильтрация, агрегирование);
• имел представление о Python на уровне чтения и написания простых скриптов (работа с файлами, логами, API, обработка данных);
• Желательно (но не обязательно) имел опыт работы с системами мониторинга (Prometheus, Grafana) или управления кластерами (Ambari, ADCM).