Step by Token

196 termes · 15 catégories

Le lexique complet

Tous les termes du domaine de l'IA, en anglais (l'usage standard) avec une définition simple en français.

Concepts fondamentaux

10 termes

Artificial Intelligence (AI)

Discipline visant à faire exécuter par des machines des tâches qui demandent normalement de l’intelligence humaine.

Vu dans : ch.01, ch.08, ch.10, ch.11, ch.13, ch.19

Machine Learning (ML)

Sous-domaine de l’IA où un système apprend à partir de données plutôt que d’être programmé explicitement.

Deep Learning

ML basé sur des réseaux de neurones à plusieurs couches.

Narrow AI

IA spécialisée dans une seule tâche (ex. jouer aux échecs).

AGI (Artificial General Intelligence)

IA hypothétique capable d’accomplir n’importe quelle tâche intellectuelle humaine.

Vu dans : ch.16

Superintelligence

IA qui dépasserait largement l’intelligence humaine dans tous les domaines.

Symbolic AI

Approche classique basée sur des règles et de la logique formelle.

Model

Représentation mathématique apprise à partir de données.

Vu dans : ch.08, ch.11, ch.13

Inference

Phase où un modèle entraîné fait des prédictions.

Training

Phase où le modèle apprend à partir des données.

Types d’apprentissage

10 termes

Supervised Learning

Apprentissage à partir de données étiquetées (entrée → sortie connue).

Vu dans : ch.08, ch.14

Unsupervised Learning

Apprentissage sans étiquettes ; le modèle trouve des structures cachées.

Self-supervised Learning

Le modèle crée lui-même ses étiquettes à partir des données.

Vu dans : ch.06

Reinforcement Learning

Apprentissage par essais/erreurs avec récompenses.

Vu dans : ch.08

Transfer Learning

Réutiliser un modèle entraîné sur une tâche pour une autre similaire.

Few-shot Learning

Apprendre à partir de très peu d’exemples.

Zero-shot Learning

Réussir une tâche sans avoir vu d’exemple pendant l’entraînement.

Meta-learning

« Apprendre à apprendre » — entraîner un modèle à s’adapter rapidement à de nouvelles tâches.

Federated Learning

Entraînement distribué sans centraliser les données.

Continual Learning

Le modèle apprend de nouvelles tâches sans oublier les anciennes.

Réseaux de neurones

16 termes

Neuron / Unit

Unité de calcul d’un réseau, inspirée d’un neurone biologique.

Layer

Ensemble de neurones traités en parallèle.

Weights

Paramètres qui pondèrent les connexions entre neurones.

Bias

Terme constant ajouté à la somme pondérée.

Activation Function

Fonction non linéaire appliquée à la sortie d’un neurone.

ReLU

Fonction d’activation très courante : max(0, x).

Forward Pass

Calcul de la sortie à partir d’une entrée.

Backpropagation

Calcul des gradients pour mettre à jour les poids.

Vu dans : ch.06

Loss Function

Mesure de l’erreur entre prédiction et vérité.

Vu dans : ch.01, ch.06, ch.08

Cross-Entropy Loss

Fonction de perte standard pour la classification.

Vu dans : ch.06, ch.13

Optimizer

Algorithme qui pilote la mise à jour des poids (Adam, SGD, etc.).

Learning Rate

Taille des pas pendant la descente de gradient.

Vu dans : ch.06

Epoch

Un passage complet sur le jeu d’entraînement.

Batch

Sous-ensemble de données traité ensemble.

Vu dans : ch.06, ch.18

Architectures

18 termes

Feedforward Network

Réseau où l’info circule dans un seul sens.

Vu dans : ch.04, ch.05

MLP (Multi-Layer Perceptron)

Réseau feedforward classique avec couches denses.

Vu dans : ch.05, ch.15

CNN (Convolutional Neural Network)

Spécialisé pour les images (filtres convolutifs).

RNN (Recurrent Neural Network)

Traite des séquences en gardant un état interne.

Vu dans : ch.04

LSTM

RNN amélioré pour mémoriser sur le long terme.

Vu dans : ch.04

Multi-Head Attention

Plusieurs mécanismes d’attention en parallèle.

Vu dans : ch.04, ch.05

Encoder-Decoder

Architecture classique pour traduction et génération.

Vu dans : ch.15

Positional Encoding

Injecte l’ordre des mots dans un Transformer.

Vu dans : ch.05

RoPE

Encodage de position rotatif moderne, fréquent dans les LLMs.

Vu dans : ch.05

Residual Connection

Connexion qui saute par-dessus des couches pour stabiliser l’entraînement.

Vu dans : ch.04, ch.05

Layer Normalization

Normalisation pour stabiliser l’entraînement.

Vu dans : ch.04, ch.05, ch.19

Mixture of Experts (MoE)

Plusieurs sous-modèles spécialisés activés sélectivement.

Vu dans : ch.05

Diffusion Model

Modèle génératif qui apprend à débruiter une image étape par étape.

GAN (Generative Adversarial Network)

Deux réseaux en compétition (générateur vs discriminateur).

Vision Transformer (ViT)

Transformer appliqué aux images.

Vu dans : ch.05, ch.09, ch.15

State Space Model / Mamba

Architecture alternative au Transformer pour longues séquences.

Traitement du langage

13 termes

NLP

Discipline du traitement du langage par machine.

Vu dans : ch.15

BPE (Byte Pair Encoding)

Algorithme de tokenisation très répandu.

Vu dans : ch.02

WordPiece / SentencePiece

Autres algorithmes de tokenisation.

Vu dans : ch.02

Word2Vec

Ancienne technique d’embeddings de mots.

Contextual Embedding

Embedding qui dépend du contexte de la phrase.

Named Entity Recognition

Identification des entités (personnes, lieux…).

Sentiment Analysis

Détection de la tonalité d’un texte.

Speech Recognition (ASR)

Reconnaissance vocale (audio → texte).

Text-to-Speech (TTS)

Synthèse vocale (texte → audio).

Vu dans : ch.15

Modèles de langage et IA générative

33 termes

Language Model

Modèle qui prédit la probabilité d’une suite de mots.

Vu dans : ch.01, ch.02, ch.04, ch.16

Foundation Model

Modèle généraliste réutilisable pour de nombreuses tâches.

Generative AI

IA capable de produire du contenu (texte, image, audio…).

Instruction Tuning

Fine-tuning pour suivre des instructions humaines.

Vu dans : ch.08, ch.14

DPO (Direct Preference Optimization)

Alternative simplifiée au RLHF.

Vu dans : ch.08, ch.14

Constitutional AI

Méthode d’alignement basée sur un ensemble de principes.

Vu dans : ch.08

System Prompt

Instructions générales données au modèle avant l’échange.

Vu dans : ch.09, ch.18

Prompt Engineering

Art de formuler des prompts efficaces.

Vu dans : ch.12

Chain-of-Thought (CoT)

Inciter le modèle à raisonner étape par étape.

Vu dans : ch.12, ch.17

Few-shot Prompting

Donner quelques exemples dans le prompt.

In-Context Learning

Capacité du modèle à apprendre à partir d’exemples dans le prompt.

Vu dans : ch.12, ch.20

Temperature

Contrôle l’aléa des réponses (faible = déterministe, élevée = créatif).

Vu dans : ch.01, ch.07, ch.12

Top-k Sampling

Échantillonnage parmi les k tokens les plus probables.

Vu dans : ch.01, ch.07

Top-p / Nucleus Sampling

Échantillonnage parmi un sous-ensemble cumulant p% de probabilité.

Vu dans : ch.01, ch.07

Greedy Decoding

Choisir toujours le token le plus probable.

Vu dans : ch.07

Vector Database

Base de données qui stocke et cherche des embeddings.

Reasoning Model

LLM optimisé pour raisonner longuement avant de répondre.

Multimodal Model

Modèle qui gère plusieurs types d’entrée (texte, image, audio…).

Vision-Language Model

Modèle qui comprend texte et image.

Text-to-Image

Génération d’image à partir de texte.

LoRA

Technique de fine-tuning léger basée sur des matrices de rang faible.

Vu dans : ch.14

QLoRA

LoRA combiné à la quantization pour gagner en mémoire.

Vu dans : ch.14, ch.18

PEFT

Famille de méthodes de fine-tuning économes en paramètres.

Vu dans : ch.14

Agents et outils

8 termes

AI Agent

Système IA qui poursuit un objectif via plusieurs étapes et outils.

Tool Use / Function Calling

Capacité du modèle à appeler des fonctions externes.

Vu dans : ch.11

ReAct

Pattern qui alterne raisonnement et action.

Vu dans : ch.11

Planning

Capacité d’un agent à décomposer un objectif en sous-tâches.

Vu dans : ch.11, ch.21

Multi-Agent System

Plusieurs agents qui collaborent ou se coordonnent.

MCP (Model Context Protocol)

Protocole standard pour connecter des outils à un LLM.

Vu dans : ch.11

Computer Use

Capacité d’un agent à utiliser un ordinateur.

Vu dans : ch.11

Agentic AI

IA qui agit par elle-même dans un environnement.

Données

11 termes

Dataset

Ensemble de données utilisé pour entraîner ou tester un modèle.

Vu dans : ch.08, ch.14, ch.16, ch.21

Training / Validation / Test Set

Données pour entraîner, ajuster, évaluer.

Vu dans : ch.06, ch.19

Label / Ground Truth

Réponse correcte associée à un exemple.

Annotation

Action d’associer des étiquettes aux données.

Data Augmentation

Générer artificiellement plus de données.

Synthetic Data

Données générées artificiellement, par exemple par IA.

Feature

Variable d’entrée du modèle.

Vu dans : ch.20

Feature Engineering

Création de variables pertinentes manuellement.

One-Hot Encoding

Encoder une catégorie sous forme de vecteur binaire.

Data Drift

Changement progressif des données par rapport à l’entraînement.

Data Leakage

Fuite d’info du test vers l’entraînement (résultats faussement bons).

Entraînement et optimisation

13 termes

Hyperparameter

Paramètre fixé avant l’entraînement (taux d’apprentissage, taille de batch…).

Cross-Validation

Évaluation par découpages multiples des données.

Overfitting

Le modèle mémorise les données d’entraînement et généralise mal.

Vu dans : ch.06

Underfitting

Le modèle est trop simple pour capter le signal.

Regularization

Techniques qui empêchent le surapprentissage.

Vu dans : ch.06

Dropout

Désactive aléatoirement des neurones pendant l’entraînement.

Early Stopping

Arrêter l’entraînement quand l’erreur de validation remonte.

Vanishing Gradient

Les gradients deviennent trop petits pour entraîner.

Catastrophic Forgetting

Le modèle oublie d’anciennes tâches en apprenant les nouvelles.

Distillation

Transférer le savoir d’un gros modèle vers un petit.

Vu dans : ch.21

Pruning

Supprimer des poids inutiles pour alléger le modèle.

Quantization

Réduire la précision numérique des poids.

Vu dans : ch.07, ch.14, ch.18

Évaluation et métriques

11 termes

Accuracy

Pourcentage de prédictions correctes.

Precision

Parmi les prédictions positives, combien sont correctes.

Recall

Parmi les vrais positifs, combien sont retrouvés.

F1 Score

Moyenne harmonique de la précision et du rappel.

Confusion Matrix

Tableau croisé prédictions vs vérité.

ROC / AUC

Courbe et aire sous la courbe pour évaluer un classifieur.

Perplexity

Mesure d’incertitude d’un modèle de langage (plus bas = mieux).

BLEU / ROUGE

Métriques pour traduction et résumé automatiques.

Vu dans : ch.01, ch.06

FID

Mesure de qualité d’images générées.

Benchmark

Test standardisé pour comparer les modèles (MMLU, HumanEval…).

Vu dans : ch.16

Red Teaming

Tests adversariaux pour trouver les failles d’un modèle.

Apprentissage par renforcement

8 termes

Agent

Entité qui prend des décisions dans un environnement.

Vu dans : ch.11, ch.18

Environment

Monde dans lequel l’agent évolue.

Policy

Stratégie de l’agent (état → action).

Q-Learning

Algorithme de RL basé sur l’estimation de Q.

PPO

Algorithme RL très utilisé, notamment dans RLHF.

Vu dans : ch.08, ch.14

Exploration vs Exploitation

Dilemme entre essayer du nouveau et exploiter ce qu’on sait.

Reward Hacking

L’agent exploite la fonction de récompense de manière non voulue.

Vu dans : ch.11

Vision par ordinateur

8 termes

Computer Vision

Domaine de l’IA traitant les images et vidéos.

Image Classification

Attribuer une catégorie à une image.

Object Detection

Localiser et classer des objets dans une image.

Semantic Segmentation

Étiqueter chaque pixel par une classe.

OCR

Reconnaissance de texte dans une image.

YOLO / R-CNN

Modèles classiques de détection.

SAM (Segment Anything)

Modèle universel de segmentation.

NeRF

Représentation 3D apprise d’une scène.

Sécurité, alignement et éthique

14 termes

AI Alignment

Faire en sorte que l’IA poursuive des objectifs alignés sur les valeurs humaines.

Vu dans : ch.07, ch.08, ch.13, ch.21

AI Safety

Champ d’étude visant à rendre l’IA fiable et sans danger.

Adversarial Attack

Entrée conçue pour tromper un modèle.

Jailbreak

Contourner les garde-fous d’un LLM.

Vu dans : ch.08

Prompt Injection

Injection malveillante d’instructions dans un prompt.

Vu dans : ch.12

Bias (algorithmic)

Biais dans les données ou les prédictions du modèle.

Fairness

Équité dans les décisions algorithmiques.

Explainability

Capacité à comprendre pourquoi un modèle décide.

Mechanistic Interpretability

Étude du fonctionnement interne des réseaux.

Differential Privacy

Méthode formelle de protection de la vie privée.

Deepfake

Contenu falsifié par IA.

Misalignment

Décalage entre objectifs réels et objectifs apparents du modèle.

Reward Model

Modèle qui prédit la qualité d’une réponse selon des humains.

Vu dans : ch.08, ch.13

AI Governance

Gouvernance et régulation de l’IA.

Infrastructure et MLOps

14 termes

TPU

Puce spécialisée IA conçue par Google.

CUDA

Plateforme de calcul GPU de Nvidia.

FLOPS

Opérations en virgule flottante par seconde.

Vu dans : ch.18, ch.19

Distributed Training

Entraînement réparti sur plusieurs machines.

Data Parallelism

Mêmes poids, données différentes sur chaque GPU.

Model Parallelism

Le modèle est découpé sur plusieurs GPUs.

PyTorch / TensorFlow / JAX

Principaux frameworks de deep learning.

Hugging Face

Plateforme de modèles, datasets et outils ML.

Vu dans : ch.14, ch.18

ONNX

Format standard pour échanger des modèles entre frameworks.

Edge AI

IA exécutée sur des appareils embarqués.

Latency

Temps de réponse du modèle.

Vu dans : ch.18

Throughput

Nombre d’inférences par seconde.

MLOps

Pratiques DevOps appliquées au ML.

Concepts émergents

9 termes

Emergent Abilities

Capacités qui apparaissent soudainement à partir d’une certaine taille de modèle.

Vu dans : ch.19

Scaling

Augmenter taille, données ou calcul pour de meilleures performances.

Vu dans : ch.06, ch.17, ch.19, ch.20

Open Weights

Modèle dont les poids sont publiquement disponibles.

Frontier Model

Modèle à la pointe de l’état de l’art.

Small Language Model (SLM)

Modèle de langage compact, optimisé pour l’efficacité.

Human-in-the-Loop

Inclusion de l’humain dans la boucle d’apprentissage ou décision.

World Model

Modèle interne d’un agent qui prédit l’évolution de l’environnement.

Embodied AI

IA incarnée dans un corps physique (robot).

Model Card

Fiche descriptive d’un modèle (capacités, limites, biais).

Step by Token — Comprendre les LLMs visuellement