Эксплуатация Arenadata Streaming (Kafka, NiFi)

Курс «Эксплуатация Arenadata Streaming (Kafka, NiFi)»

Курс «Эксплуатация Arenadata Streaming (Kafka, NiFi)» − четырёхдневный практический курс по администрированию, установке и настройке безопасности кластеров Kafka и NiFi, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming, включая принципы обеспечения безопасности потоковых данных. Курс поможет получить практические навыки по развертыванию, администрированию и пост-настройке безопасности кластера Arenadata Streaming.
программа курса
Что представляет собой курс
Аудитория курса
Что представляет собой курс
Это четырехдневный практический курс. В рамках которого участники получат теоретические знания и практический опыт по:
  • подготовке окружения и установке Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
  • архитектуре и инструментам Apache Kafka (Consumers, Producers, Topics, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
  • Arenadata Streaming Control (ADS Control);
  • архитектуре, администрированию и эксплуатации Apache NiFi;
  • обеспечению информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.
Аудитория курса
Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными и обеспечения безопасности кластеров Apache Kafka и Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для системных администраторов, специалистов по информационной безопасности и разработчиков в области больших данных. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных − Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:
  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.
  • Программа

    Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
    • Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
    • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
    • Arenadata Streaming Control.
    • Arenadata Platform Security.
    Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi
    • Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
    • Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
    • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
    • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).
    • Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi.
    Архитектура и инструменты Apache Kafka
    • Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
    • Topics Kafka.
    • Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).
    • Гарантии надежности Kafka (доставка/потребление).
    • Producers Kafka.
    • Запись сообщений в Kafka, console Producer.
    • Настройка Producers.
    • Consumers Kafka.
    • Сonsumer groups, ребалансировка разделов.
    • Настройка Consumers.
    • Изменение параметров Topics, consumer groups, Partitions.
    Kafka Connect
    • Основные понятия и инструменты.
    • FileStream Connectors.
    • CDC Debezium.
    • Kafka ADB Connectors.
    Kafka REST Proxy, ksqlDB
    • Основные возможности и примеры использования.
    Мультикластерные архитектуры
    • Топология мультикластерной репликации.
    • Настройка MirrorMaker, Mirror Connectors.
    Архитектура и инструменты Apache NiFi
    • Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
    • Создание, настройка и управление процессорами, процессорными группами.
    • Flow Files и атрибуты.
    • Подключение источников (File, Apache Kafka, СУБД (ADB)).
    • FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
    Администрирование и эксплуатация Apache NiFi
    • Инструменты мониторинга и администрирования.
    • Горизонтальное масштабирование и отказоустойчивость NiFi.
    • Управление репликацией и балансировкой нагрузки.
    • Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
    Arenadata Streaming Control (ADS Control)
    • Планирование кластера, настройка параметров окружения и установка, обзор UI.
    • Основные операции ADS Control: управление и добавление коннекторов (FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).
    Управление информационной безопасностью кластера ADS
    • Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
    • Керберизация ADS/ADPS с MS Active Directory, Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров
    • Настройка LDAP sync source для Ranger User synchronizer.
    • Настройка LDAP/AD auth для Ranger Admin.
    • Присоединение узлов к Active Directory (SSSD/realmd).
    • Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
    • Настройка авторизации: Kafka (ACL, Apache Ranger Plugin), Apache NiFi (based authorizer, Apache Ranger Plugin).
    Итоговое тестирование

      Даты
      ближайших
      курсов

      • 7-10 Октября осталось мало мест!

      Спасибо, что написали нам

      Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

      Оставьте заявку на прохождение курса

      Чтобы получить более подробную информацию об особенностях курса «Эксплуатация Arenadata Streaming (Kafka, NiFi)» и условиях обучения, заполните форму обратной связи. В поле «Комментарий» укажите, сколько человек от вашей компании планируют стать слушателями.
      ошибка! проверьте правильно ли вы заполнили поля

      Спасибо, что написали нам!

      Мы обработаем заявку и свяжемся с вами в ближайшее время.

      Будем рады помочь!

      Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

      Фамилия *
      Имя *
      Эл. почта *
      Телефон *
      Наименование компании *
      Опишите ваш вопрос
      ошибка! проверьте правильно ли вы заполнили поля

      Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.