Kafka - Administration

Formation créée le 16/05/2023. Dernière mise à jour le 26/12/2023.
Version du programme : 1

Type de formation

Formation à distance

Durée de formation

21 heures (3 jours)

Kafka - Administration


Objectif de formation : Savoir administrer un cluster Kafka

Objectifs de la formation

  • Comprendre les fonctionnalités fournies par une infrastructure Kafka
  • Déployer un cluster Kafka, utiliser les commandes en ligne associées
  • Assurer des niveaux de fiabilité pour les topics Kafka
  • Mettre en place la sécurité d'un cluster Kafka
  • Intégrer les métriques Kafka dans des outils de visualisation tels que Prometheus/Grafana
  • Avoir une vue d'ensemble des outils d'administration disponibles

Profil des bénéficiaires

Pour qui
  • Administrateurs
  • Architectes
Prérequis
  • Connaitre l’administration système

Contenu de la formation

Introduction (3 heures)
  • Présentation du projet Kafka : historique, fonctionnalités, principe de fonctionnement
  • Présentation de l'architecture et du rôle de chaque composant : broker, producteur, consommateur
  • Connexion avec ZooKeeper
Installation (6 heures)
  • Recommandations d'installation et prérequis
  • Différentes distributions disponibles
  • Ensemble ZooKeeper : rôle, dimensionnement, client
  • Cluster Kafka
  • Paramétrage d'un broker Kafka, traces d'un broker, structure de stockage du commit log
  • Utilitaires fournis par la distribution
  • Travaux pratiques : Installation, mise en place de scripts pour démarrer/arrêter une architecture de cluster Kafka. Création de topics et production/consommation de messages à l'aide des utilitaires.
Cas d'utilisation de Kafka (3 heures)
  • Kafka comme message Broker
  • Kafka et Kafka Connect pour le traitement d'événements en temps réel
  • Kafka comme référentiel des données d'entreprise
  • Travaux pratiques : Exécution d'applications implémentant les différents cas d'utilisation
Réplication et fiabilité (6 heures)
  • Stockage des partitions, segments et rétention
  • Réplication, leader, followers, ISR
  • Rôle du contrôleur, Arrêt d’un broker leader, d'un follower. Démarrage d'un nouveau broker
  • Fiabilité Producteur, Fiabilité consommateur
  • Sémantiques At Most Once, At Least Once, Exactly Once
  • Outils de validation d'une garantie de transmission
  • Travaux pratiques : Manipulation des partitions Kafka, compréhension des segments et de la rétention des données. Mise en place de la réplication avec des rôles de leader, followers, et ISR (In-Sync Replicas). Compréhension du rôle du contrôleur Kafka, arrêt d'un broker leader ou d'un follower, et démarrage d'un nouveau broker. Assurer la fiabilité des producteurs et des consommateurs Kafka. Implémentation des différentes sémantiques de livraison (At Most Once, At Least Once, Exactly Once). Utilisation d'outils pour la validation de la garantie de transmission des messages

Équipe pédagogique

Professionnel expert technique et pédagogique

Suivi de l'exécution et évaluation des résultats

  • Émargement numérique
  • Mises en situation
  • Formulaires d’évaluation de la formation
  • Certificat de réalisation de l’action de formation

Ressources techniques et pédagogiques

  • Espace intranet de formation
  • Documents supports de formation projetés
  • Exposés théoriques
  • Étude de cas concrets
  • Mise à disposition en ligne de documents supports à la suite de la formation

Qualité et satisfaction

Taux de satisfaction des apprenants, nombre d'apprenants, taux et causes des abandons, taux de retour des enquêtes, taux d'interruption en cours de prestation...