КУРС
Эксплуатация Arenadata Streaming (NiFi)
Курс «Эксплуатация Arenadata Streaming (NiFi)» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет вам получить практические навыки по развертыванию, администрированию и настройке безопасности Apache NiFi в составе кластера Arenadata Streaming
10 ноября 2026
Ближайший старт
3 дня
Длительность
Доступные даты
10 ноября 2026
О курсе
Курс «Эксплуатация Arenadata Streaming (NiFi)» − трёхдневный практический курс по администрированию, установке и настройке безопасности кластера Apache NiFi, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming, включая принципы обеспечения безопасности ETL-конвейеров.
Продукты
Arenadata Streaming
Технологии
Apache NiFi
Аудитория курса
Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления ETL-процессами потоковыми данными и обеспечения безопасности кластеров Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для дата-инженеров, системных администраторов, специалистов по информационной безопасности. Он будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных – Apache NiFi в составе Arenadata Streaming.
Слушателям необходимо обладать следующим уровнем подготовки:
- знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
- опыт работы с SQL.
Сертификация
Все курсы заканчиваются экзаменом, при успешной сдаче которого слушателю выдается вендорский сертификат с названием курса и Ф. И. О. обучающегося.
Выпускнику центра присваивается статус Arenadata Certified Specialist.
В случае изучения нескольких курсов специалисту присваивается дополнительный грейд.
Программа обучения
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
- Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager
- Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper, KRaft)
- Arenadata Streaming Control
- Arenadata Platform Security
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi
- Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
- Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
- Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
- Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
- Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.
Модуль 3. Архитектура и инструменты Apache NiFi
- Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение
- Создание, настройка и управление процессорами, процессорными группами.
- Flow Files и атрибуты.
- Подключение источников (File, Apache Kafka, СУБД)
- FlowFile Repository, Content Repository, Provenance Repository: детальное изучение
Модуль 4. Администрирование и эксплуатация Apache NiFi
- Инструменты мониторинга и администрирования: (Reporting Tasks, Site-to-Site, REST API, nifi-toolkit).
- Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей.
- Управление репликацией и Метадата-driven подход.
- Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Модуль 5. Работа с данными и маршрутизация в Apache NiFi
- Использование процессоров для обработки данных.
- Шаблоны маршрутизации.
- Основы Expression Language.
Модуль 6. Управление информационной безопасностью кластера ADS (NiFi)
- Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
- Керберизация ADS/ADPS с MS Active Directory.
- Настройка LDAP sync source для Ranger User synchronizer.
- Настройка LDAP/AD auth для Ranger Admin.
- Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
- Настройка авторизации: Apache NiFi (based authorizer, Apache Ranger Plugin). Настройка политик (processor groups, processors, queues и др.). Парметры безопасности процессоров.
Модуль 7. Итоговое тестирование
Учебный материал и обратная связь
Во время обучения слушатели могут общаться с преподавателем как голосом, так и в рабочем чате, расположенном на той же платформе, что и вебинар.
Лабораторные стенды доступны во время занятий, а также вечером и в выходные дни при необходимости.
При желании можно дополнительно приобрести учебную лицензию продуктов Arenadata для повторения материала и тренировки.
Часто задаваемые вопросы
Собрали ответы на самые популярные вопросы.
Хотите записаться на курс?
Или задайте свой вопрос, чтобы узнать подробнее о наших курсах.