Dérivées, gradient et Hessienne

Pour une fonction $$ différentiable, le gradient est le vecteur des dérivées partielles :

La Hessienne est la matrice des dérivées secondes :

En dimension 1, la dérivée $$ généralise le taux de variation instantané ; le gradient et la Hessienne étendent cette idée aux fonctions multivariées.

• Dérivée / gradient : direction et vitesse de variation locale. $$ pointe vers la plus forte augmentation de $$ ; $$ indique la direction de plus forte descente.
• Hessienne : courbure locale. Ses valeurs propres décrivent si la fonction est plus concave ou convexe selon la direction.
• Approximation linéaire : autour de $$,

• Approximation quadratique : en ajoutant la courbure,

C'est la base du gradient descent, de Newton et des séries de Taylor.

Pour une fonction deux fois différentiable :

• $$ (définie positive) ⟹ $$ strictement convexe localement ;
• $$ partout ⟹ $$ convexe ;
• un point où $$ et $$ est un minimum local ; s'il est global sur un domaine convexe, c'est le minimum global.

Voir la page Convexité pour les caractérisations complètes (Jensen, critère du gradient).

Optimisation — Gradient descent : mise à jour $$ — voir Descente de gradient. Newton : utilise $$ pour corriger la direction et converger plus vite près du minimum. Conditions d'optimalité : en l'absence de contraintes, un intérieur optimal vérifie $$.

Statistiques et ML — Régression linéaire : annuler le gradient de la loss quadratique donne l'estimateur OLS. Régularisation L2 : ajoute $$ à la Hessienne, améliore le conditionnement. Backpropagation : propagation des gradients via la règle de la chaîne sur un graphe de calcul.

Finance — Les Greeks (delta, gamma) sont des dérivées du prix d'un dérivé par rapport aux facteurs de risque — même logique différentielle, appliquée au pricing.