Régression linéaire
La régression linéaire modélise la relation entre une variable cible et un ensemble de variables explicatives via une combinaison linéaire des coefficients.
Dans le cas multiple :
où contient les features, les coefficients et le terme d'erreur.
Intuition
La régression linéaire cherche le meilleur hyperplan pour approximer une cible continue à partir des variables d'entrée. Le critère standard consiste à minimiser la somme des carrés des résidus.
Dans le cas simple :
Le coefficient mesure la variation moyenne de associée à une hausse d'une unité de , toutes choses égales par ailleurs dans le cas multiple.
Estimation par moindres carrés ordinaires
L'estimateur OLS minimise :
En notation matricielle, si est inversible :
Cette formule montre immédiatement pourquoi la colinéarité pose problème : si les colonnes de sont linéairement dépendantes, l'inverse n'existe pas.
| Objet | Formule | Rôle |
|---|---|---|
| Prédiction | Valeurs ajustées par le modèle | |
| Résidus | Erreur observée sur l'échantillon | |
| RSS | Somme des carrés des résidus | |
| Estimateur de variance | Variance résiduelle estimée |
Hypothèses du modèle
| Hypothèse | Idée | Pourquoi elle compte |
|---|---|---|
| Linéarité | Le modèle doit être bien spécifié en moyenne | |
| Exogénéité | Condition clé pour l'absence de biais | |
| Indépendance | Erreurs non corrélées entre observations | Important pour l'inférence classique |
| Homoscédasticité | Sinon les erreurs standards OLS sont invalides | |
| Pas de colinéarité parfaite | inversible | Condition d'existence de |
| Normalité des erreurs | Utile pour les tests exacts à petit échantillon, pas pour calculer OLS |
Propriétés théoriques
Sous les hypothèses usuelles, l'estimateur OLS est :
- sans biais :
- consistant si la taille d'échantillon augmente dans un cadre régulier
- BLUE (Best Linear Unbiased Estimator) via le théorème de Gauss-Markov
Sa variance conditionnelle vaut :
Sous normalité des erreurs, OLS coïncide aussi avec l'estimateur du maximum de vraisemblance.
Inférence statistique
| Concept | Formule | Interprétation |
|---|---|---|
| Erreur standard | Incertitude estimée sur un coefficient | |
| Statistique t | Test de nullité ou de valeur cible d'un coefficient | |
| IC à 95 % | Intervalle plausible pour le vrai coefficient | |
| Test F global | Comparaison du modèle complet à un modèle restreint | Teste la significativité conjointe de plusieurs coefficients |
| p-value | Probabilité sous d'observer aussi extrême ou plus | Mesure de compatibilité avec l'hypothèse nulle, pas taille d'effet |
Les p-values ne suffisent pas à juger un modèle. Il faut aussi regarder la taille et le signe des coefficients, la stabilité hors échantillon, la cohérence métier ou économique, et la sensibilité aux variables ajoutées ou retirées.
Qualité d'ajustement
| Métrique | Formule / idée | Limite |
|---|---|---|
| Part de variance expliquée | Augmente mécaniquement quand on ajoute des variables | |
ajusté | Pénalise les variables inutiles | Reste une mesure intra-échantillon |
| RMSE | Erreur quadratique moyenne racine | Sensible aux grosses erreurs |
| MAE | Erreur absolue moyenne | Moins sensible aux outliers, mais moins lisse |
Diagnostics
| Diagnostic | Signal d'alerte | Conséquence |
|---|---|---|
| Résidus vs fitted | Structure systématique, courbure | Non-linéarité ou mauvaise spécification |
| Hétéroscédasticité | Dispersion croissante des résidus | Erreurs standards biaisées ; préférer HC-robust |
| Multicolinéarité | VIF élevé, coefficients instables | Interprétation difficile, variance gonflée |
| Points influents | Leverage, distance de Cook élevée | Le modèle dépend excessivement de quelques observations |
| Autocorrélation | Résidus corrélés dans le temps | Problème fréquent en séries temporelles |
Limites
- La causalité ne découle pas d'une corrélation linéaire significative. - Les outliers peuvent fortement déplacer les coefficients. - La relation réelle peut être non linéaire ou dépendre d'interactions omises. - En présence de fuite d'information ou de mauvaise temporalité, l'inférence devient trompeuse. - La régression linéaire extrapole selon une droite ou un hyperplan, ce qui peut être économiquement absurde hors zone observée.
Extensions proches
| Extension | Idée |
|---|---|
| Régression polynomiale | Ajouter des puissances des variables pour capturer des courbures |
| Interactions | Permettre à l'effet d'une variable de dépendre d'une autre |
| Ridge / Lasso / Elastic Net | Régularisation pour réduire variance et sélectionner les variables |
| WLS / GLS | Traiter hétéroscédasticité ou corrélation des erreurs |
| Régression logistique | Version classification binaire, lien logit au lieu d'une cible continue |
Régression linéaire comme baseline ML
En machine learning tabulaire, la régression linéaire reste une baseline essentielle :
- rapide à entraîner
- très interprétable
- bon point de comparaison avant des modèles non linéaires
- utile pour détecter si la complexité supplémentaire (arbres, boosting, réseaux) apporte réellement quelque chose
Elle devient particulièrement pertinente quand les données sont peu nombreuses, le bruit modéré et l'interprétation des coefficients importante.