Kafka & NiFi - Ingestion de données streaming
Formation créée le 19/05/2021. Dernière mise à jour le 25/07/2022.
Version du programme : 1
Programme de la formation
Objectif de formation : L'apprenant saura utiliser Kafka et NiFi séparément et en combinaison pour la gestion des données en streaming.
Objectifs de la formation
- Appréhender l’architecture de Kafka
- Comprendre le fonctionnement de Kafka dans un contexte multiclient
- Savoir publier et récupérer les données vers un cluster Kafka
- Établir ses propres Consumers & Producers avec Kafka
- Appréhender l’architecture et les flux de données de NiFi
- Construire des extentions à l’aide d’API NiFi et tierces
- Personnaliser et élaborer votre propre processeur Apache NiFi
- Savoir acquérir et traiter des données en même temps
Profil des bénéficiaires
Pour qui
- Data engineer, administrateurs, architectes, DevOps, développeurs…
Prérequis
- Maîtriser les bases du langage Java
- Avoir des savoirs basiques sur un système Unix
Contenu de la formation
-
Présentation de Kakfa
- L’évolutions des versions de Kakfa et la complexité des systèmes
- Le marché du traitement en temps réel
- Présentation de la plateforme Kafka
- Les apports de Kafka
- L’outil Kafka en pratique
- Producers
- Brokers
- Consumers
-
Installation et architecture
- Installation de Kafka
- Paramètres avancés
- Prérequis matériels : le hardware
- Les fichiers journaux de Kafka
- Réplication & fiabilité
- Chemins d’écriture et de lecture de Kafka
- Partition, groupes de consumer et scalabiilté
-
Développement & mise en pratique
- Les usages de Kafka Streams
- Présentation des fondements de Kafka Streams
- Travaux pratiques: l’utilisation de Kafka Streams sur une application
-
Présentation de NiFi
- Données froides vs données chaudes
- Les outils et les technologies Big Data
- Hadoop: HDFS, MapReduce
- Spark
- Installation et paramétrage de NiFi
- Tour d’horizon de l’architecture NiFi
- Approches de développement
- Outils de développement d’applications et état d’esprit
- Extraction, transformation et chargement (ETL) des outils et de la mentalité
- Travaux pratiques: Kafka Connect
-
Utilisation de NiFi
- Considération sur la conception
- Composants, événements et modèles de processeur
- La gestion des erreurs
- Les services de contrôleur
- Tests et dépannage
- La contribution à Apache NiFi
- Travaux pratiques: intégration de données par des périphériques IoT avec une API web / développement d’un processeur Apache NiFi personnalisé à l’aide de JSON / streaming DataFeeds dans HDFS
Équipe pédagogique
Professionnel expert dans le Big Data
Suivi de l'exécution et évaluation des résultats
- Feuilles de présence
- Mises en situation.
- Formulaires d'évaluation de la formation
- Certificat de réalisation de l’action de formation
- Émargement numérique
Ressources techniques et pédagogiques
- Documents supports de formation projetés
- Exposés théoriques
- Etude de cas concrets
- Mise à disposition en ligne de documents supports à la suite de la formation
- Espace intranet de formation
Qualité et satisfaction
Taux de satisfaction des stagiaires
Progression des compétences visées
Taux d'abandon
Taux de retour des enquêtes
Taux d'interruption en cours de prestation