Ce dossier contient trois fichiers documentant de manière pédagogique et accessible l'évolution et le principe fondamental des grands modèles de langage, focalisant particulièrement sur l'architecture Transformer et le mécanisme d' attention.
- Ce document présente une introduction théorique et générale aux modèles de langage.
- Il définit ce qu'est un modèle de langage, expose leur importance fondamentale dans le domaine du traitement automatique du langage naturel (NLP), ainsi que leurs principales applications pratiques.
- Le document détaille brièvement l'historique et les évolutions majeures du domaine, depuis les premiers modèles basés sur des règles jusqu'aux approches statistiques et neuronales.
Objectifs principaux :
- Définir et comprendre l'importance des modèles de langage.
- Fournir une vue d'ensemble des principales applications liées au NLP.
- Comprendre les limites historiques et les innovations successives.
- Ce fichier constitue un script pédagogique conçu pour guider une séance ou une vidéo explicative sur l'histoire des grands modèles de langage : des modèles basés sur des règles aux Transformers modernes.
- Il reprend en détail le contenu théorique présenté précédemment, avec des explications structurées afin de faciliter la compréhension orale illustrée par des exemples, des mises en contexte et des références historiques.
Objectifs principaux :
- Guider l'explication orale lors d’une présentation ou d’une formation.
- Assurer une compréhension claire et structurée des modèles historiques jusqu'aux modèles actuels.
- Ce document présente une analogie intuitive et détaillée afin d’expliquer le fameux mécanisme d'Attention qui est à la base du modèle Transformer ("Attention is all you need").
- Il utilise des analogies accessibles (clé, valeur, requête devenant Indice, Preuve, Enquête) afin d'expliquer clairement comment fonctionne concrètement ce mécanisme complexe qui permet aux modèles de traiter les mots en tenant compte de leur contexte proche ou lointain.
- Le principe est illustré par un scénario simplifié d'enquête de détectives virtuels représentant les interactions et les échanges d'informations entre les mots d'une phrase.
Objectifs principaux :
- Fournir une explication intuitive et accessible sur le mécanisme d’attention.
- Démystifier les concepts techniques (« Query », « Key », « Value ») en les abordant via une analogie aisée à saisir.
Ces fichiers peuvent être utilisés de manière complémentaire dans un contexte pédagogique ou d'introduction au NLP :
- Commencer par la lecture du fichier UE1-introduction.md pour acquérir une bonne compréhension de base sur les modèles de langage, leurs origines et applications.
- Utiliser UE1-introduction-script.md comme support de présentation orale ou vidéo, pour approfondir ou enseigner ces bases théoriques.
- Finalement, aborder le fichier **UE1-attention_is_all_you_need-script.md ** pour saisir pleinement le concept d'Attention qui est fondamental à la compréhension des modèles modernes comme les Transformers.
Ces ressources sont destinées principalement aux :
- Développeurs débutants dans le domaine du NLP.
- Formateurs souhaitant donner une introduction accessible aux Transformer et mécanismes d'attention.
- Étudiants ou autodidactes intéressés par une compréhension intuitive mais rigoureuse du fonctionnement des grands modèles de langage modernes.