Эксплуатация Arenadata Hadoop

Новый курс «Эксплуатация Arenadata Hadoop»

Курс «Эксплуатация Arenadata Hadoop» поможет вам получить актуальные знания по работе с Arenadata Hadoop и успешно применять их на практике.
программа курса
Что представляет собой курс «Эксплуатация Arenadata Hadoop»
Аудитория курса
Как проходит курс
Сертификация
Что представляет собой курс «Эксплуатация Arenadata Hadoop»
«Эксплуатация Arenadata Hadoop» — 4-дневный практический курс по администрированию, установке и настройке кластера Hadoop под управлением Arenadata Cluster Manager. В рамках данного курса участники получат теоретические знания и практический опыт по:
  • планированию и развертыванию распределенных вычислительных кластеров Hadoop на базе дистрибутива Arenadata Hadoop версии 2 и системы управления Arenadata Cluster Manager;
  • работе с продуктами экосистемы Hadoop;
  • мониторингу и оптимизации производительности системы;
  • обслуживанию и аварийному восстановлению узлов кластера и отдельных компонент.
Аудитория курса
Курс будет интересен системным администраторам Hadoop, которые хотят получить знания по продуктам экосистемы Hadoop и продвинутые навыки по установке, конфигурированию, обслуживанию, восстановлению и управлению кластером Hadoop с использованием дистрибутива Arenadata Hadoop и системы управления Arenadata Cluster Manager.
Как проходит курс
Существует несколько вариантов прохождения курса «Эксплуатация Arenadata Hadoop». Занятия могут проводиться очно в учебных классах исполнителя, на территории заказчика. Также предоставляется возможность прослушать курс дистанционно в онлайн-формате. Лекторы читают курсы для двух форматов групп:
  • Корпоративные (заказчик записывает на курс команду от десяти человек);
  • Открытые (смешанные группы, в которые входят представители нескольких компаний).
Сертификация
Слушатели, успешно сдавшие экзамен по курсу «Эксплуатация Arenadata Hadoop», станут обладателями именного сертификата и получат статус сертифицированного специалиста ADCS Hadoop: System Administrator.

Программа

Введение в экосистему Hadoop
  • История возникновения Hadoop
  • Основные проекты (HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, Zookeeper)
  • Дистрибутивы Hadoop
  • Архитектура кластера Hadoop
Подготовка окружения к установке Hadoop
  • Настройка параметров окружения
  • Монтирование и настройка файловой системы
  • Настройка сети и DNS (reverse lookup)
Введение в Arenadata Cluster Manager
  • Основные понятия и компоненты
  • Развертывание системы управления
  • Подготовка и настройка инфраструктуры с использованием бандла
  • Планирование и первичная конфигурация кластера Hadoop
  • Установка кластера Hadoop
  • Установка и настройка мониторинга
  • Работа с метриками в Grafana
Настройка сервисов Hadoop
  • Развертывание и подходы к конфигурированию сервисов экосистемы Hadoop
  • Разбор основных конфигурационных файлов и параметров настройки сервисов:
    • HDFS+YARN (hdfs-site, yarn-site, hadoop-env)
    • Hive+Tez (hive-site, tez-site, hive-env)
    • HBase (hbase-site, hbase-env)
    • Spark (spark-env)
    • Zookeeper (zoo.cfg)
Проверка работоспособности кластера
  • Запуск smoke-тестов и интерпретация результатов
  • Запуск примеров приложений и запросов для проверки работоспособности сервисов
  • Интерпретация статусов сервисов в системе управления ADCM
Пост-настройка кластера Hadoop
  • Настройка HDFS (Permissions, Quotas, Erasure coding, Rack Awareness)
  • Настройка High Availability для YARN, HBase, Hive, Solr
  • Настройка памяти и размеров контейнера для YARN, Hive, Tez
  • Настройка параметров для HBase (GC, Memstore, Compression, Load balancing, Flush)
  • Настройка YARN Scheduler/Queues
Выявление проблем в работе кластера и дебаггинг
  • Работа с логами сервисов, поиск и выявление проблем работы с сервисами
  • Диагностика HDFS (hadoop dfs)
  • Диагностика ошибок через YARN UI
  • Работа с утилитами HBase (check, repair, ..)
  • Работа с утилитами Hive (schema-tool)
  • Работа с Tez UI
  • Работа с Zookeeper CLI
  • Работа со Spark UI
  • Практическая работа по обслуживанию и восстановлению кластера после сбоя

Даты
ближайших
курсов

  • 6-10 Декабря осталось мало мест!

Спасибо, что написали нам

Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.