Random Forest

La forêt aléatoire (Random Forest) est un ensemble d'arbres de décision entraînés sur des échantillons bootstrap des données, avec une sous-sélection aléatoire de variables à chaque division. Les prédictions finales agrègent les arbres par vote majoritaire (classification) ou moyenne (régression).

Un arbre seul capture des interactions non linéaires mais sur-apprend facilement (forte variance). La forêt aléatoire applique le bagging : entraîner de nombreux arbres sur des sous-échantillons différents puis les moyenner réduit la variance sans augmenter autant le biais.

La randomisation des features à chaque split décorrèle les arbres entre eux — condition nécessaire pour que l'agrégation améliore réellement la généralisation par rapport à un seul arbre profond.

1. Bootstrap

   : pour chaque arbre $$, tirer $$ observations avec remise parmi $$ (environ 63 % d'observations uniques par arbre).

2. Arbre non élagué : faire croître l'arbre jusqu'à une profondeur ou des critères d'arrêt fixés (max_depth, min_samples_leaf, etc.).

3. Random subspace

   : à chaque nœud, ne considérer qu'un sous-ensemble de max_features variables pour choisir le meilleur split.

4. Agrégation : classification → classe majoritaire ; régression → moyenne des prédictions des $$ arbres.

Score out-of-bag (OOB) : les observations non incluses dans le bootstrap d'un arbre servent d'échantillon de validation implicite. Avec oob_score=True, on obtient une estimation de performance sans jeu de validation dédié — utile en première passe, mais pas un substitut à une validation croisée rigoureuse.