Descente de gradient
La descente de gradient (gradient descent) minimise une fonction différentiable par itérations successives dans la direction opposée au gradient :
où est le pas d'apprentissage (learning rate) à l'itération .
L'idée : le gradient pointe vers la plus forte montée ; en soustrayant , on descend localement vers un minimum.
Intuition
On imagine une bille roulant le long d'une surface : à chaque pas, on regarde la pente locale ( ) et on avance dans la direction la plus descendante. Pas trop grand : on peut overshoot et diverger. Pas trop petit : convergence très lente. Sur une fonction convexe lisse, un bon choix de garantit la convergence vers le minimum global (voir Optimisation convexe). Sur une fonction non convexe (réseaux de neurones), on converge souvent vers un minimum local ou un point selle — d'où l'importance de l'initialisation et des variantes (momentum, Adam).
Pas d'apprentissage
| Stratégie | Formule / idée | Usage |
|---|---|---|
| Pas fixe | constant | Simple ; nécessite un tuning manuel |
| Décroissance | ou | Garanties de convergence en SGD sous hypothèses |
| Line search | Choisir minimisant | Coûteux mais adaptatif ; Newton utilise une logique proche |
| Schedule (warmup, cosine) | planifié sur les epochs | Standard en deep learning |
Pour une fonction -lisse et convexe, un pas constant suffit à garantir la convergence. En pratique, est rarement connu : on teste des valeurs (log-scale : , , …) ou on utilise un optimiseur adaptatif.
Variantes
| Méthode | Idée | Intérêt |
|---|---|---|
| Batch (GD) | Gradient sur tout l'échantillon | Stable mais lent sur grands jeux de données |
| SGD | Gradient sur un exemple (ou mini-batch) | Rapide, bruit utile pour échapper aux minima locaux |
| Mini-batch | Gradient sur un sous-ensemble de taille | Compromis standard ; parallélisable sur GPU |
| Momentum | , puis | Accélère dans les directions consistantes ; atténue l'oscillation |
| Adam / RMSProp | Pas adaptatif par coordonnée (moyennes mobiles du gradient et de sa variance) | Peu de tuning ; défaut en deep learning tabulaire et réseaux |
Convergence
Si est convexe et -lisse, la descente de gradient avec vérifie :
Convergence en — linéaire en nombre d'itérations pour la précision, pas exponentielle. Pour une convergence plus rapide près de l'optimum, voir Newton et quasi-Newton (à venir).
Si est -fortement convexe (), le taux devient linéaire (géométrique) :
La condition number gouverne la vitesse : plus elle est grande, plus la convergence est lente.
Hyperparamètres clés
| Paramètre | Rôle | Effet principal |
|---|---|---|
| Taille du pas | Trop grand → divergence ; trop petit → lenteur |
batch_size | Taille du mini-batch | Grand → gradient stable ; petit → bruit et généralisation |
| Inertie du gradient | Typiquement 0.9 ; accélère dans les vallées étroites |
| Nombre d'itérations | Coupler avec early stopping pour éviter le sur-apprentissage |
tolerance | Seuil d'arrêt sur ou gain de loss | Utile quand la loss plateaute |
Applications
- Régression linéaire : OLS a une solution fermée, mais la descente de gradient reste utile pour grands ou streaming.
- Régularisation ridge / lasso : minimisation itérative quand ou est très grand.
- Machine learning : entraînement de modèles linéaires, réseaux de neurones (via backprop + SGD/Adam).
- Calibration : ajuster des paramètres de modèle pour minimiser une loss sur données historiques.
La descente de gradient est l'algorithme de base référencé dans Dérivées, gradient et Hessienne ; Optimisation convexe explique pourquoi, sur un problème convexe, cette procédure cible le bon optimum.
Limites et pièges
| Situation | Problème | Piste |
|---|---|---|
| Fonction non convexe | Minima locaux, points selles | Multi-start, momentum, learning rate schedule |
| Mauvais conditionnement | Vallées étroites et allongées | Normalisation des features, Adam, preconditioning |
| Plateaux | loin de l'optimum | ReLU/sigmoid en DL ; momentum ou Adam |
| Objectif non lisse | (lasso) | Sous-gradient, proximal gradient (ISTA) |
| Coût par itération | Batch complet trop lent | Mini-batch SGD ; parfois solution fermée préférable (OLS) |
Voir aussi
• Dérivées, gradient et Hessienne — gradient et interprétation différentielle
• Optimisation convexe — garanties de convergence sur problèmes convexes
• Convexité — pourquoi un minimum local est global
• Régression — cas quadratique et alternative fermée (OLS)