NLP avec les Transformers – De BERT à GPT : Comprendre et appliquer

Formation créée le 14/04/2026.
Version du programme : 1

Type de formation

Présentiel

Durée de formation

21 heures (3 jours)
Cette formation est gratuite.
S'inscrire
Cette formation est gratuite.
S'inscrire
Cette formation est gratuite.
S'inscrire

NLP avec les Transformers – De BERT à GPT : Comprendre et appliquer


Maîtriser les modèles Transformers pour les tâches NLP classiques et savoir les adapter à des données métier dans un contexte professionnel.

Objectifs de la formation

  • Comprendre l’architecture des modèles Transformers
  • Manipuler les modèles BERT et dérivés pour des tâches NLP
  • Utiliser les modèles GPT pour la génération de texte
  • Exploiter la librairie Hugging Face Transformers
  • Réaliser un fine-tuning sur des données métier
  • Évaluer les performances des modèles NLP
  • Déployer un modèle NLP adapté à un cas d’usage réel

Profil des bénéficiaires

Pour qui
  • Data scientists
  • ML engineers
  • ingénieurs IA
  • développeurs spécialisés en data ou intelligence artificielle
Prérequis
  • Bonne maîtrise de Python
  • Connaissances en machine learning (supervisé)
  • Bases en NLP (tokenisation, embeddings)
  • Notions sur les réseaux de neurones (deep learning)

Contenu de la formation

JOUR 1- Module 1 – Introduction aux Transformers et architecture (3h)
  • Limites des modèles NLP classiques (RNN, LSTM)
  • Principe de l’attention et self-attention
  • Architecture Transformer : encodeur / décodeur
  • Mécanisme de multi-head attention
  • Embeddings positionnels et pipeline global
  • Activité pratique : Étude guidée de l’architecture Transformer Analyse d’un schéma complet et identification des composants clés Implémentation simplifiée d’un bloc d’attention en Python
JOUR 1- Module 2 – Écosystème Hugging Face et premiers modèles (4h)
  • Présentation de Hugging Face Transformers et Hub
  • Chargement de modèles pré-entraînés
  • Tokenizers et pipelines NLP
  • Inférence avec modèles prêts à l’emploi
  • Activité pratique : Premiers tests avec Hugging Face Utilisation de pipelines pour classification et génération Comparaison de plusieurs modèles sur un même dataset
JOUR 2- Module 3 – BERT, RoBERTa, DistilBERT : principes et cas d’usage (3h)
  • Fonctionnement de BERT (masked language model)
  • Différences entre BERT, RoBERTa et DistilBERT
  • Cas d’usage : classification, NER, question answering
  • Choix du modèle selon contraintes (performance, coût)
  • Activité pratique : Exploration comparative de modèles Test de BERT vs DistilBERT sur une tâche de classification Analyse des performances et du temps d’inférence
JOUR 2- Module 4 – Fine-tuning de BERT sur données métier (4h)
  • Préparation des données (tokenisation, formatting)
  • Fine-tuning avec Trainer API
  • Gestion des hyperparamètres
  • Gestion des datasets déséquilibrés
  • Activité pratique : Classification de documents métier avec BERT Fine-tuning d’un modèle BERT sur un dataset métier Analyse des résultats et amélioration des performances
JOUR 3- Module 5 – Modèles génératifs : GPT et applications (3h)
  • Architecture GPT (modèle auto-régressif)
  • Différences BERT vs GPT (encodeur vs génératif)
  • Cas d’usage : génération de texte, résumé, chatbot
  • Prompt engineering (bases)
  • Activité pratique : Génération de texte avec GPT Création de prompts pour différents cas métiers Ajustement des paramètres (temperature, max tokens)
JOUR 3- Module 6 – Évaluation et industrialisation des modèles NLP (4h)
  • Métriques NLP : F1, précision, rappel
  • Métriques génération : BLEU, ROUGE, perplexité
  • Validation des modèles et biais
  • Bonnes pratiques de déploiement (API, batch, monitoring)
  • Activité pratique : Évaluation complète d’un modèle NLP Calcul des métriques sur modèle fine-tuné Interprétation des résultats et axes d’amélioration

Équipe pédagogique

Professionnel expert technique et pédagogique.