Convexité
Un ensemble est convexe si, pour tout et tout :
Une fonction est convexe si son graphe est au-dessus de tout segment joignant deux points :
La convexité est stricte si l'inégalité est stricte dès que et .
Intuition
Géométriquement, un ensemble convexe ne présente ni « trou » ni indentation : le segment entre deux points reste à l'intérieur. Une fonction convexe a une courbure « vers le haut » : toute corde entre deux points du graphe domine la fonction.
Cette propriété est centrale en optimisation : sur un domaine convexe, un minimum local d'une fonction convexe est global. Il n'y a pas de pièges locaux.
Caractérisations
Si est convexe et une variable aléatoire telle que les quantités sont bien définies :
C'est l'outil standard pour relier moyenne et transformation non linéaire — utile en probabilités, en finance et en analyse de risque.
est convexe si et seulement si, pour tout :
Le graphe domine ses tangentes : la linéarisation sous-estime toujours la fonction.
Si est , elle est convexe sur un ouvert convexe si et seulement si :
pour tout du domaine. C'est le test le plus utilisé en pratique pour vérifier la convexité d'une loss ou d'une fonction objectif.
Propriétés
| Propriété | Énoncé | Conséquence |
|---|---|---|
| Minima | Tout minimum local est global | L'optimisation est bien posée sans pièges locaux |
| Combinaisons | Somme pondérée de fonctions convexes avec poids ≥ 0 | Objectifs multi-critères restent convexes |
| Composition | convexe si convexe croissante et convexe | Règle pratique pour vérifier des compositions |
| Maximum pointwise | convexe si chaque l'est | Contraintes de type worst-case conservent la convexité |
| Épigraphie | convexe ⟺ son épigraphe est un ensemble convexe | Lien géométrique entre fonctions et ensembles |
Exemples
| Fonction / ensemble | Convexité | Commentaire |
|---|---|---|
| Convexe | Hessienne constante | |
| Convexe | Non différentiable en 0, mais convexe au sens large | |
Normes | Convexe | Boules unité convexes ; base des contraintes de régularisation |
| Convexe | Dérivée seconde strictement positive | |
sur | Convexe | Apparaît dans les log-vraisemblances et l'entropie |
| Concave | Opposé d'une fonction convexe | |
| MSE | Convexe en les paramètres | Base de la régression linéaire |
| Hinge loss | Convexe | SVM à marge maximale |
Semi-espace | Ensemble convexe | Brique des contraintes linéaires |
Applications
La convexité est le socle de l'optimisation convexe : problèmes où la fonction objectif et le domaine admissible sont convexes. Les algorithmes classiques (gradient, points intérieurs) convergent alors vers l'optimum global sous des hypothèses modérées.
Liens directs avec le site :
- Régression linéaire — les moindres carrés minimisent une fonction quadratique strictement convexe (si est définie positive).
- Optimisation convexe — gradient descent, contraintes, multiplicateurs de Lagrange ; la convexité garantit que ces méthodes ciblent le bon optimum.
- Allocation de portefeuille — Markowitz formule un problème quadratique convexe sous contraintes linéaires.
- Machine learning — MSE, hinge loss et entropie croisée (via log) reposent sur des structures convexes en les paramètres ; c'est ce qui rend l'entraînement de modèles linéaires et SVMs fiable.
Lien finance (distinct) : la convexité obligataire mesure la courbure du prix d'une obligation par rapport aux taux (dérivée seconde du prix). C'est une application du langage de la convexité, pas la même page que la convexité mathématique — voir les classes d'actifs.
Limites et pièges
| Situation | Problème | Conséquence |
|---|---|---|
| Fonction non convexe | Ex. sigmoïde, pertes de réseaux profonds | Minima locaux, convergence dépendante de l'initialisation |
| Quasi-convexité | Ensembles de niveau convexes, mais fonction pas forcément convexe | Optimisation plus facile qu'en général, mais sans les outils de Jensen |
| Contraintes non convexes | Ex. contrainte de cardinalité | Le problème global devient NP-difficile en général |
| Convexité en les paramètres seulement | La loss peut être convexe en mais le modèle reste linéaire | Ne pas confondre convexité de la loss et expressivité du prédicteur |
Extensions proches
| Notion | Idée |
|---|---|
| Concavité | concave ⟺ convexe ; maximise plutôt que minimise |
| Fonction fortement convexe | Hessienne minorée par avec ; convergence accélérée |
| Ensemble convexe vs problème convexe | Un domaine convexe ne suffit pas : il faut aussi une objectif convexe |
| Optimisation convexe | Étude algorithmique des problèmes convexes — voir Optimisation convexe |
Voir aussi
• Dérivées, gradient et Hessienne — outils différentiels sous-jacents
• Optimisation convexe — KKT, dualité, LP/QP
• Régression — cas concret de minimisation quadratique convexe
• Classes d'actifs — convexité obligataire (finance)