КУРС

Основы работы с Apache NiFi на базе платформы Arenadata Streaming

Курс «Основы работы с Apache NiFi на базе платформы Arenadata Streaming» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata Streaming.

15 сентября 2026

Ближайший старт

3 дня

Длительность

Доступные даты

15 сентября 2026

О курсе

«Основы работы с Apache NiFi на базе платформы Arenadata Streaming» − трёхдневный практический курс по разработке и кастомизации инструментов ETL-обработки средствами Apache NiFi, направленный на изучение ключевых аспектов разработки ETL-конвейеров.

Продукты

Arenadata Streaming

Технологии

Apache NiFi

Аудитория курса

Аудитория курса включает IT-специалистов, которые хотят повысить квалификацию в области разработки ETL-процессов Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для дата-инженеров и будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и навыки.

Слушателям необходимо обладать следующим уровнем подготовки:

  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.

Сертификация

Все курсы заканчиваются экзаменом, при успешной сдаче которого слушателю выдается вендорский сертификат с названием курса и Ф. И. О. обучающегося.

Выпускнику центра присваивается статус Arenadata Certified Specialist.

В случае изучения нескольких курсов специалисту присваивается дополнительный грейд.

Сертификация

Программа обучения

Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
  • Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Prosperity, Arenadata Cluster Manager.
  • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
  • Arenadata Streaming Control.
  • Arenadata Platform Security.
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi
  • Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
  • Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
  • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
  • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
  • Мониторинг ADS (Prometheus): архитектура сервиса.
Модуль 3. Архитектура и инструменты Apache NiFi
  • Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
  • Создание, настройка и управление процессорами, процессорными группами.
  • Flow Files и атрибуты.
  • FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
  • Content/Record-oriented подход.
Модуль 4. Администрирование и эксплуатация Apache NiFi
  • Инструменты мониторинга и администрирования.
  • Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей. Производительность и оптимизация потоков данных.
  • Использование метадата-driven подхода для разработки потоков.
  • Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Модуль 5. Работа с данными и маршрутизация в Apache NiFi
  • Использование процессоров для обработки данных.
  • Работа с метаданными и контентом flowfiles.
  • Основы Expression Language.
  • Параметризация DataFlow: параметры, провайдеры.
  • Сериализация и десериализация данных. Схемы данных. AVRO-схемы.
  • Подключение источников (File, Apache Kafka, СУБД, S3, HDFS, возможные Endpoints).
  • Работа с текстом, JSON, XML (jolt, jslt, xslt).
  • Трансформация и фильтрация данных (ConvertRecord, UpdateRecord, QueryRecord, jolt-transform-record, LookupRecord).
  • Разделение, объединение и агрегация данных.
  • Использование процессоров для маршрутизации.
  • Обработка ошибок.
  • Работа с ADB, трансформация и загрузка (ETL).
Модуль 6. Кастомизация Apache NiFi
  • Кастомизация и создание Extensions. Создание собственного процессора (преимущества/недостатки).
  • Использование скриптов.
  • Разработка скрипта трансформации (Scripted-transform-record).
Модуль 7. Итоговое тестирование

Учебный материал и обратная связь

  • Во время обучения слушатели могут общаться с преподавателем как голосом, так и в рабочем чате, расположенном на той же платформе, что и вебинар.

  • Лабораторные стенды доступны во время занятий, а также вечером и в выходные дни при необходимости.

  • При желании можно дополнительно приобрести учебную лицензию продуктов Arenadata для повторения материала и тренировки.

Похожие курсы

Все курсы
NEW
6 октября 2026

Эксплуатация Arenadata Streaming (Kafka)

NEW
10 ноября 2026

Эксплуатация Arenadata Streaming (NiFi)

NEW
По запросу

Основы работы с Apache Kafka на базе платформы Arenadata Streaming

Часто задаваемые вопросы

Собрали ответы на самые популярные вопросы.

Обучение проходит дистанционно в формате вебинаров. Теория чередуется с лабораторными работами, а стенд разворачивается для каждого участника.

Занятия проводятся с отрывом от производства. Для полнодневного курса стандартное время — с 10:00 до 18:00 мск.

Компания может записать на курс корпоративную группу. Даты и формат такого обучения согласуются отдельно.

Периодически обучение проходит в смешанных открытых группах. Оставьте заявку, и мы расскажем о наборе и свободных местах.

После успешной сдачи итогового тестирования участнику выдается именной вендорский сертификат.

Хотите записаться на курс?

Или задайте свой вопрос, чтобы узнать подробнее о наших курсах.