Kafka - Administration
Formation créée le 16/05/2023. Dernière mise à jour le 26/12/2023.
Version du programme : 1
Programme de la formation
Objectif de formation : Savoir administrer un cluster Kafka
Objectifs de la formation
- Comprendre les fonctionnalités fournies par une infrastructure Kafka
- Déployer un cluster Kafka, utiliser les commandes en ligne associées
- Assurer des niveaux de fiabilité pour les topics Kafka
- Mettre en place la sécurité d'un cluster Kafka
- Intégrer les métriques Kafka dans des outils de visualisation tels que Prometheus/Grafana
- Avoir une vue d'ensemble des outils d'administration disponibles
Profil des bénéficiaires
Pour qui
- Administrateurs
- Architectes
Prérequis
- Connaitre l’administration système
Contenu de la formation
-
Introduction (3 heures)
- Présentation du projet Kafka : historique, fonctionnalités, principe de fonctionnement
- Présentation de l'architecture et du rôle de chaque composant : broker, producteur, consommateur
- Connexion avec ZooKeeper
-
Installation (6 heures)
- Recommandations d'installation et prérequis
- Différentes distributions disponibles
- Ensemble ZooKeeper : rôle, dimensionnement, client
- Cluster Kafka
- Paramétrage d'un broker Kafka, traces d'un broker, structure de stockage du commit log
- Utilitaires fournis par la distribution
- Travaux pratiques : Installation, mise en place de scripts pour démarrer/arrêter une architecture de cluster Kafka. Création de topics et production/consommation de messages à l'aide des utilitaires.
-
Cas d'utilisation de Kafka (3 heures)
- Kafka comme message Broker
- Kafka et Kafka Connect pour le traitement d'événements en temps réel
- Kafka comme référentiel des données d'entreprise
- Travaux pratiques : Exécution d'applications implémentant les différents cas d'utilisation
-
Réplication et fiabilité (6 heures)
- Stockage des partitions, segments et rétention
- Réplication, leader, followers, ISR
- Rôle du contrôleur, Arrêt d’un broker leader, d'un follower. Démarrage d'un nouveau broker
- Fiabilité Producteur, Fiabilité consommateur
- Sémantiques At Most Once, At Least Once, Exactly Once
- Outils de validation d'une garantie de transmission
- Travaux pratiques : Manipulation des partitions Kafka, compréhension des segments et de la rétention des données. Mise en place de la réplication avec des rôles de leader, followers, et ISR (In-Sync Replicas). Compréhension du rôle du contrôleur Kafka, arrêt d'un broker leader ou d'un follower, et démarrage d'un nouveau broker. Assurer la fiabilité des producteurs et des consommateurs Kafka. Implémentation des différentes sémantiques de livraison (At Most Once, At Least Once, Exactly Once). Utilisation d'outils pour la validation de la garantie de transmission des messages
Équipe pédagogique
Professionnel expert technique et pédagogique
Suivi de l'exécution et évaluation des résultats
- Émargement numérique
- Mises en situation
- Formulaires d’évaluation de la formation
- Certificat de réalisation de l’action de formation
Ressources techniques et pédagogiques
- Espace intranet de formation
- Documents supports de formation projetés
- Exposés théoriques
- Étude de cas concrets
- Mise à disposition en ligne de documents supports à la suite de la formation
Qualité et satisfaction
Taux de satisfaction des apprenants, nombre d'apprenants, taux et causes des abandons, taux de retour des enquêtes, taux d'interruption en cours de prestation...