КУРС

Основы работы с Apache Kafka на базе платформы Arenadata Streaming

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» − трехдневный практический тренинг, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java.

По запросу

Ближайший старт

3 дня

Длительность

О курсе

Продукты

Arenadata Streaming

Технологии

Apache Kafka

Чему научится участник

В рамках курса участники получат теоретические знания и практический опыт по:

архитектуре Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
архитектуре и инструментам Apache Kafka (Consumers, Producers, Topics, Kafka Connect, Debezium, MirrorMaker, Schema Registry, Kafka REST Proxy, KSQL DB, Kafka Streams);
использованию Arenadata Streaming Control (ADS Control) для управления кластерами Arenadata Streaming;
пониманию принципов подготовки окружения, установки, настройки и мониторинга (Prometheus) кластера Kafka;
пониманию принципов работы Arenadata Cluster Manager, включая развертывание и конфигурирование кластеров Arenadata Streaming и Arenadata Streaming Control;
использованию средств IDE для работы с Kafka API (Consumer, Producer, Admin Client, Kafka Streams), включая настройку и использование инструментов сборки, таких как Maven;
использованию Schema Registry для управления схемами и обеспечения совместимости;
настройке Kafka Connect и созданию собственных плагин-коннекторов;
использованию Debezium и MirrorMaker для репликации данных;
интеграции и применению Kafka REST Proxy и KSQL DB для обработки потоков данных;
пониманию возможностей Kafka Streams API.

Аудитория курса

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming. Курс предназначен для начинающих разработчиков, инженеров данных и архитекторов. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области работы с распределенной системой потоковой обработки данных − Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:

опыт в программирования на современном языке (предпочтительно Java);
знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
опыт работы с SQL.

Сертификация

Все курсы заканчиваются экзаменом, при успешной сдаче которого слушателю выдается вендорский сертификат с названием курса и Ф. И. О. обучающегося.

Выпускнику центра присваивается статус Arenadata Certified Specialist.

В случае изучения нескольких курсов специалисту присваивается дополнительный грейд.

Программа обучения

Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
Arenadata Streaming Control.
Arenadata Platform Security.

Модуль 2. Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы. Лабораторная работа.
Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka).
Мониторинг ADS Prometheus: архитектура сервиса/кластера мониторинга. Лабораторная работа.
Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.

Модуль 3. Архитектура и инструменты Apache Kafka

Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
Topics Kafka: Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention). Настройка программных инструментов: Java IDE (IntelliJ IDEA CE, OpenIDE), Build Tool (Apache Maven). AdminClient API. Примеры программного использования. Лабораторная работа.
Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).
Настройка программных инструментов: Java IDE (IntelliJ IDEA CE, OpenIDE), Build Tool (Apache Maven).
AdminClient API. Примеры программного использования. Лабораторная работа.
Гарантии надежности Kafka (доставка/потребление).
Контроллер Kafka. ZooKeeper/KRaft.
Producers Kafka: Запись сообщений в Kafka, console Producer. Настройка Producers. Producer API. Пример настройки Auth.
Запись сообщений в Kafka, console Producer.
Настройка Producers.
Producer API. Пример настройки Auth.
Consumers Kafka: Сonsumer groups, ребалансировка разделов. Настройка Consumers. Consumer API. Пример настройки Auth.
Сonsumer groups, ребалансировка разделов.
Настройка Consumers.
Consumer API. Пример настройки Auth.
Schema Registry: Архитектура. Типы схем. Lifecycle. Schema compatibility. Пример эволюции схем (Kafka Java Clients).
Архитектура. Типы схем. Lifecycle. Schema compatibility. Пример эволюции схем (Kafka Java Clients).
Kafka REST Proxy: Основные возможности и примеры использования.
Основные возможности и примеры использования.

Модуль 4. Kafka Connect

Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).
Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).
Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки. Лабораторная работа.
CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink. Лабораторная работа.
SMT (Single Message Transforms). Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.

Модуль 5. ksqlDB

Основные возможности и примеры использования. Управление потоками.

Модуль 6. Kafka Streaming API

Основные понятия, архитектура и инструменты.
Пример приложения Kafka Streams c использованием SpringBoot API (Java).

Модуль 7. Итоговое тестирование

Учебный материал и обратная связь

Во время обучения слушатели могут общаться с преподавателем как голосом, так и в рабочем чате, расположенном на той же платформе, что и вебинар.
Лабораторные стенды доступны во время занятий, а также вечером и в выходные дни при необходимости.
При желании можно дополнительно приобрести учебную лицензию продуктов Arenadata для повторения материала и тренировки.

Обучение проходит дистанционно в формате вебинаров. Теория чередуется с лабораторными работами, а стенд разворачивается для каждого участника.

Занятия проводятся с отрывом от производства. Для полнодневного курса стандартное время — с 10:00 до 18:00 мск.

Компания может записать на курс корпоративную группу. Даты и формат такого обучения согласуются отдельно.

Периодически обучение проходит в смешанных открытых группах. Оставьте заявку, и мы расскажем о наборе и свободных местах.

После успешной сдачи итогового тестирования участнику выдается именной вендорский сертификат.

Хотите записаться на курс?

Или задайте свой вопрос, чтобы узнать подробнее о наших курсах.