BigData : intégration SQL, Hive, SparkDataFrames
Formation créée le 14/03/2024.
Version du programme : 1
Programme de la formation
Objectif de la formation : La formation vise à doter les participants de compétences pratiques pour manipuler, analyser et traiter de grands volumes de données en utilisant SQL, Hive et Spark DataFrames. L'apprenant aura les connaissances nécessaires pour intégrer ces technologies afin d'optimiser l'extraction, la transformation et le chargement (ETL) des données dans des environnements Big Data.
Objectifs de la formation
- Comprendre les rôles de SQL, Hive, et Spark dans l'écosystème Big Data.
- Être capable de réaliser des manipulations de données complexes et des analyses avec Hive.
- Maîtriser l'utilisation des Spark DataFrames pour le traitement de données à grande échelle.
- Intégrer SQL, Hive et Spark pour optimiser les processus ETL dans des projets Big Data.
Profil des bénéficiaires
Pour qui
- Développeurs
- Ingénieurs Big Data
- Data analysts
Prérequis
- Connaissances de base en programmation SQL.
- Familiarité avec les concepts de base du traitement de données et des systèmes de gestion de bases de données.
- Une expérience préalable avec des outils de traitement de données comme Hive ou Spark est un plus, mais pas obligatoire.
Contenu de la formation
-
SQL et Hive pour le Big Data
- Principes de base du SQL
- Introduction à Hive et son architecture
- Création de tables et requêtes Hives
- Importation et exportation de données
- Travaux pratiques : Cas d'utilisation réel de requêtes et d'analyse de données avec Hive
-
Spark DataFrames et intégration des technologies
- Architecture de Spark
- Principes de base des DataFrames dans Spark
- Traitement avancé des données avec Spark DataFrames (filtrage, agrégation, jointures...)
- Optimisations des requêtes et performances
- Travaux pratiques : réalisation d'un projet d'ETL en utilisant SQL, Hive et Spark DataFrames
Équipe pédagogique
Professionnel dans la Big Data
Suivi de l'exécution et évaluation des résultats
- Feuilles de présence
- Mises en situation
- Formulaires d'évaluation de la formation
- Certificat de réalisation de l’action de formation
- Émargement numérique
Ressources techniques et pédagogiques
- Documents supports de formation projetés
- Exposés théoriques
- Etude de cas concrets
- Mise à disposition en ligne de documents supports à la suite de la formation
- Espace intranet de formation
Qualité et satisfaction
Taux de satisfaction des stagiaires Progression des compétences visées Taux d'abandon Taux de retour des enquêtes Taux d'interruption en cours de prestation