Eng
КурсыПартнёрыРесурсы
Обратная связьТехподдержка
Eng
Меню

Администрирование кластера Arenadata Streaming Kafka

записаться на курс

Администрирование и настройка кластера Arenadata Streaming Kafka

Курс «Администрирование кластера Arenadata Streaming Kafka» поможет специалистам научиться работать с эффективным масштабируемым отказоустойчивым решением для потоковой обработки данных в режиме реального времени Arenadata Streaming Kafka.
программа курса
Что представляет собой курс «Администрирование кластера Arenadata Streaming Kafka»
Аудитория курса
Как проходит курс
Сертификация
Что представляет собой курс «Администрирование кластера Arenadata Streaming Kafka»

«Администрирование кластера Arenadata Streaming Kafka» — 3-дневный курс для специалистов, которые хотят изучить методы администрирования и настройки кластера Arenadata Streaming Kafka. Вы узнаете, как производить настройку безопасности Kafka с SSL и Kerberos, а также познакомитесь с примерами оптимизации ПО и его интеграции с другими продуктами мониторинга.

Аудитория курса

Курс «Администрирование кластера Arenadata Streaming Kafka» будет интересен специалистам, которые хотят получить знания по работе с Arenadata Streaming Kafka. В рамках курса большое внимание уделяется разбору практических примеров.

Для того, чтобы успешно пройти курс «Администрирование кластера Arenadata Streaming Kafka», потребуется предварительная подготовка:

  • Базовый опыт работы в UNIX;
  • Умение работать в текстовом редакторе vi;
  • Знания основ Arenadata Hadoop.
Как проходит курс

Обучение на курсах по продуктам Arenadata может проходить на территории заказчика, исполнителя, в классах нашего учебного партнёра — «Школы Больших Данных», а также дистанционно в онлайн-формате.

Лекторы читают курсы для двух форматов групп:

  • Корпоративные (заказчик записывает на курс команду от десяти человек);
  • Открытые (смешанные группы, в которые входят представители нескольких компаний).
Сертификация

Обучение на курсе «Администрирование кластера Arenadata Streaming Kafka» завершается экзаменом. Успешно сдавшие его слушатели получат именной сертификат, подтверждающий полученные ими знания.

Также предусмотрена возможность прохождения экзамена без предварительного обучения: этот вариант актуален для специалистов, уже обладающих знаниями по администрированию кластера Arenadata Streaming Kafka.

Программа курса

Введение в Arenadata Streaming
  • Архитектурные особенности Arenadata Streaming
  • Что такое Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы дистрибутива ADS (Arenadata Streaming)
  • Кластер Zookeeper
  • Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции
Основные концепции Kafka
  • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
  • Брокеры (Brokers): Развертывание. Конфигурация Multibroker.
  • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API.
  • Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
Установка кластера Arenadata Streaming
  • Требования по установке кластера.
  • Автоматизация развертывания с использованием ADCM – Arenadata Cluster Manager
  • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners.
  • Установка кластера Kafka на Yandex Cloud
Базовые операции в Kafka
  • Семантика операций в Arenadata Streaming.
  • Гарантия очередности. Гарантия доставки.
  • Операции с Топиками (Topic)
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer
  • Разбор примера кода producer
  • Разбор примера кода consumer
Оптимизация кластера Kafka
  • Выполнение операций обслуживания кластера Arenadata Streaming с ADCM.
  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Балансировка разделов(partition) и использование Partition Reassignment Tools в Kafka Topics
  • Мониторинг кластера Kafka с использованием Grafana и JMX
  • Best Practices
Интеграция Arenadata Streaming с Arenadata Hadoop
  • Использование Arenadata NiFi для потоковой обработки данных
  • Интеграция Flume с Kafka для файловых операций с HDFS
Расширенная конфигурация кластера Kafka
  • Геораспределенная конфигурация с использованием ADS Mirror Maker
  • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
  • Настройка Schema Registry
Безопасность в Kafka
  • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов.
  • Аутентификация SSL/SASL
  • Аутентификация Kerberos: Настройка Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos.
  • Авторизация в Управление списками управления доступом (ACL)

Даты
ближайших
курсов

  • 14-16 Марта осталось мало мест!

Спасибо, что написали нам

Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

Оставьте заявку на прохождение курса по Kafka

Если у вас остались вопросы, заполните форму обратной связи. Вы получите подробную консультацию по вопросам обучения на курсе «Администрирование кластера Arenadata Streaming Kafka». Для того, чтобы общение вышло более предметным, в поле «Комментарий» укажите количество предполагаемых слушателей от вашей компании.
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.