Métriques
Inventaire condensé des métriques d'évaluation en ML supervisé. Les métriques de performance sur test sont en général agnostiques au modèle ; seuls les diagnostics (OOB, importances…) varient selon la famille. Protocole : train / validation / test, CV stratifiée si besoin, baseline, incertitude (bootstrap ou CV), test hold-out une fois.
Tableau maître
| Métrique | Mesure | Proba | Seuil | Problème |
|---|---|---|---|---|
| Accuracy, F1, MCC | Erreurs @ τ | — | oui | Binaire, multi |
| AUC-ROC, Gini (modèle) | Ranking | non | non | Binaire |
| AUC-PR, AP | Ranking (classe rare) | non | non | Binaire |
| Log loss, Brier, ECE | Probas & calibration | oui | non | Binaire, multi |
| Lift, buckets quantiles, KS, PSI | Tri / stabilité scores | score | optionnel | Binaire |
| MAE, RMSE, R² | Erreur continue | — | — | Régression |
| OOB, Gini MDI, gain XGB | Diagnostic modèle | — | — | RF, XGBoost |
Seuil & matrice de confusion
Nécessitent une classe prédite ŷ (seuil τ sur p̂ en binaire). Définir la classe positive (1).
| Métrique | Définition (binaire) | Note |
|---|---|---|
| TP, TN, FP, FN | Comptages @ τ | Base du bloc seuil |
| Accuracy | (TP+TN)/N | Faible si déséquilibre |
| Precision (PPV), Recall (TPR), Specificity (TNR) | TP/(TP+FP), TP/(TP+FN), TN/(TN+FP) | — |
| NPV, FDR, FOR | Variantes TN, FP | Médical, rare |
| F1, Fβ | Harmonique P/R | β > 1 → recall |
| Balanced accuracy, MCC, Cohen κ | ½(TPR+TNR), Matthews, accord | κ généralisable multi-classe |
| Coût attendu, τ optimal | C_FP·FP + C_FN·FN | τ choisi sur validation |
Discrimination & ranking
Entrée : score ou p̂ — pas de τ fixe. Gini (modèle) = 2×AUC−1 ≠ Gini MDI (importance RF).
| Métrique | Idée | Note |
|---|---|---|
| ROC, AUC-ROC | TPR vs FPR | Ranking global |
| Gini (modèle) | 2×AUC−1 | Scoring crédit |
| PR curve, AUC-PR, AP | Precision vs recall | Classe 1 rare |
| Partial AUC, KS | Bande FPR ; max|CDF₁−CDF₀| | Contraintes métier / banque |
| Lift, gains cumulés | Positifs dans top k % | Campagnes, tri |
| Buckets quantiles (déciles) | Taux observé, lift par bucket | Monotonicité du score |
Probabiliste & calibration
Nécessitent p̂ interprétable. AUC élevé n’implique pas des probas calibrées.
| Métrique | Rôle |
|---|---|
| Log loss | Entropie croisée ; pénalise probas confiantes fausses |
| Brier score | MSE(y, p̂) ; décomposable (Murphy) |
| Reliability diagram, ECE, MCE | Écart observé vs prédit par bin |
| Sharpness | Dispersion des p̂ (≠ calibration) |
| Hosmer–Lemeshow | Test goodness-of-fit par bins |
| Recalibration (Platt, isotonique) | Post-hoc sur validation |
Classification multi-classe
Y ∈ , K > 2.
| Métrique | Variante | Note |
|---|---|---|
| Accuracy, matrice K×K | — | Global |
| Precision / Recall / F1 | macro, micro, weighted | Macro = classes égales |
| Log loss | multiclass | Probas K-way |
| AUC | OvR, OvO | Macro-moyenne |
| Top-k accuracy | — | Label dans top k logits |
| Hamming loss | multi-label | Labels mal prédits |
Régression
Y ∈ ℝ — jeu de métriques distinct.
| Métrique | Idée | Note |
|---|---|---|
| MAE, MedAE | |y−ŷ|, médiane | Robuste (MedAE) |
| MSE, RMSE | (y−ŷ)² | Sensible outliers |
| MAPE, SMAPE | Erreur relative % | Instable si y≈0 |
| R², adjusted R² | Variance expliquée | Adjusted pénalise complexité |
| Pinball loss | Quantile τ | Modèles quantiles |
| Interval score | Couverture + largeur | Intervalles de prédiction |
Comparaison & robustesse
| Élément | Usage |
|---|---|
| IC bootstrap, écart-type CV | Incertitude sur AUC, F1… |
| McNemar, Delong, bootstrap apparié | Comparer A vs B (mêmes exemples) |
| Courbes d'apprentissage | Biais / variance vs taille train |
| Out-of-time, analyse FP/FN | Drift temporel, segments d'erreur |
| PSI, calibration drift | Stabilité distribution p̂ dans le temps |
Diagnostics — Random Forest
≠ performance test. Voir Random Forest.
| Élément | Note |
|---|---|
| OOB score / error | Perf interne ; pas substitut test/CV |
| Gini importance (MDI) | Δ impureté ; biais si corrélations |
| Permutation importance | Plus fiable out-of-sample |
| Impureté Gini (nœud) | Construction arbre ≠ Gini modèle |
Diagnostics — XGBoost
Voir XGBoost.
| Élément | Note |
|---|---|
| Importance gain / cover / weight | Weight favorise forte cardinalité |
| Early stopping (eval metric) | logloss, auc, rmse… → # rounds |
| Courbe train vs val | Sur-apprentissage par iteration |
| SHAP (optionnel) | Interprétation locale |
Références sklearn
confusion_matrix, classification_report, roc_auc_score,
average_precision_score, log_loss, brier_score_loss,
CalibrationDisplay, CalibratedClassifierCV, f1_score,
mean_absolute_error, r2_score, permutation_importance,
StratifiedKFold