Suréchantillonnage et sous-échantillonnage aléatoires pour la classification déséquilibrée

Dernière mise à jour le 5 janvier 2021

Les ensembles de données déséquilibrés sont ceux où il y a un biais sévère dans la distribution des classes, comme 1:100 ou 1:1000 exemples dans la classe minoritaire par rapport à la classe majoritaire.

Ce biais dans l’ensemble de données de formation peut influencer de nombreux algorithmes d’apprentissage automatique, conduisant certains à ignorer entièrement la classe minoritaire. C’est un problème car c’est typiquement la classe minoritaire sur laquelle les prédictions sont les plus importantes.

Une approche pour aborder le problème du déséquilibre de classe est de rééchantillonner aléatoirement l’ensemble de données d’entraînement. Les deux principales approches de rééchantillonnage aléatoire d’un ensemble de données déséquilibré consistent à supprimer les exemples de la classe majoritaire, appelé sous-échantillonnage, et à dupliquer les exemples de la classe minoritaire, appelé sur-échantillonnage.

Dans ce tutoriel, vous découvrirez le suréchantillonnage et le sous-échantillonnage aléatoires pour la classification déséquilibrée

Après avoir terminé ce tutoriel, vous saurez :

• Le rééchantillonnage aléatoire fournit une technique naïve pour rééquilibrer la distribution des classes pour un ensemble de données déséquilibré.
• Le suréchantillonnage aléatoire duplique les exemples de la classe minoritaire dans le jeu de données d’entraînement et peut entraîner un surajustement pour certains modèles.
• Le sous-échantillonnage aléatoire supprime les exemples de la classe majoritaire et peut entraîner la perte d’informations précieuses pour un modèle.

Démarrez votre projet avec mon nouveau livre Imbalanced Classification with Python, comprenant des tutoriels étape par étape et les fichiers de code source Python pour tous les exemples.

Démarrons.

• Mise à jour Jan/2021 : Mise à jour des liens pour la documentation API.

Suréchantillonnage et sous-échantillonnage aléatoires pour une classification déséquilibrée
Photo de RichardBH, certains droits réservés.

Vue d’ensemble du tutoriel

Ce tutoriel est divisé en cinq parties ; ce sont :

1. Réséchantillonnage aléatoire d’ensembles de données déséquilibrés
2. Données déséquilibrées-.Learn Library
3. Suréchantillonnage aléatoire Ensembles de données déséquilibrés
4. Sous-échantillonnage aléatoire Ensembles de données déséquilibrés
5. Combinaison du suréchantillonnage et du sous-échantillonnage aléatoires

Réséchantillonnage aléatoire Ensembles de données déséquilibrés

Le rééchantillonnage consiste à créer une nouvelle version transformée de l’ensemble de données d’entraînement dans laquelle les exemples sélectionnés ont une distribution de classe différente.

C’est une stratégie simple et efficace pour les problèmes de classification déséquilibrée.

Appliquer des stratégies de rééchantillonnage pour obtenir une distribution de données plus équilibrée est une solution efficace au problème de déséquilibre

– Une enquête sur la modélisation prédictive sous des distributions déséquilibrées, 2015.

La stratégie la plus simple consiste à choisir des exemples pour l’ensemble de données transformé de manière aléatoire, appelé rééchantillonnage aléatoire.

Il existe deux approches principales du rééchantillonnage aléatoire pour la classification déséquilibrée ; ce sont le suréchantillonnage et le sous-échantillonnage.

• Suréchantillonnage aléatoire : Dupliquer aléatoirement des exemples dans la classe minoritaire.
• Sous-échantillonnage aléatoire : Supprimer aléatoirement des exemples dans la classe majoritaire.

Le suréchantillonnage aléatoire consiste à sélectionner aléatoirement des exemples dans la classe minoritaire, avec remplacement, et à les ajouter à l’ensemble de données d’entraînement. Le sous-échantillonnage aléatoire implique de sélectionner aléatoirement des exemples de la classe majoritaire et de les supprimer de l’ensemble de données d’entraînement.

Dans le sous-échantillonnage aléatoire, les instances de la classe majoritaire sont écartées au hasard jusqu’à ce qu’une distribution plus équilibrée soit atteinte.

– Page 45, Apprentissage déséquilibré : Foundations, Algorithms, and Applications, 2013

Ces deux approches peuvent être répétées jusqu’à ce que la distribution de classe souhaitée soit atteinte dans l’ensemble de données d’entraînement, comme une répartition égale entre les classes.

Elles sont appelées méthodes de « rééchantillonnage naïf » car elles ne supposent rien sur les données et aucune heuristique n’est utilisée. Cela les rend simples à mettre en œuvre et rapides à exécuter, ce qui est souhaitable pour les ensembles de données très grands et complexes.

Ces deux techniques peuvent être utilisées pour les problèmes de classification à deux classes (binaires) et les problèmes de classification multi-classes avec une ou plusieurs classes majoritaires ou minoritaires.

Important, la modification de la distribution des classes n’est appliquée qu’à l’ensemble de données d’entraînement. L’intention est d’influencer l’ajustement des modèles. Le rééchantillonnage n’est pas appliqué à l’ensemble de données de test ou de maintien utilisé pour évaluer la performance d’un modèle.

Généralement, ces méthodes naïves peuvent être efficaces, bien que cela dépende des spécificités de l’ensemble de données et des modèles impliqués.

Regardons de plus près chaque méthode et comment les utiliser en pratique.

Bibliothèque imbalanced-Learn

Dans ces exemples, nous utiliserons les implémentations fournies par la bibliothèque Python imbalanced-learn, qui peut être installée via pip comme suit :

Vous pouvez confirmer que l’installation a réussi en imprimant la version de la bibliothèque installée :

L’exécution de l’exemple imprimera le numéro de version de la bibliothèque installée ; par exemple :

Suréchantillonnage aléatoire des ensembles de données déséquilibrés

Le suréchantillonnage aléatoire consiste à dupliquer aléatoirement des exemples de la classe minoritaire et à les ajouter à l’ensemble de données d’entraînement.

Les exemples de l’ensemble de données d’entraînement sont sélectionnés aléatoirement avec remplacement. Cela signifie que les exemples de la classe minoritaire peuvent être choisis et ajoutés au nouvel ensemble de données d’entraînement « plus équilibré » plusieurs fois ; ils sont sélectionnés dans l’ensemble de données d’entraînement original, ajoutés au nouvel ensemble de données d’entraînement, puis retournés ou « remplacés » dans l’ensemble de données original, ce qui permet de les sélectionner à nouveau.

Cette technique peut être efficace pour les algorithmes d’apprentissage automatique qui sont affectés par une distribution asymétrique et où de multiples exemples dupliqués pour une classe donnée peuvent influencer l’ajustement du modèle. Il peut s’agir d’algorithmes qui apprennent itérativement des coefficients, comme les réseaux de neurones artificiels qui utilisent la descente de gradient stochastique. Cela peut également affecter les modèles qui recherchent de bonnes divisions des données, comme les machines à vecteurs de support et les arbres de décision.

Il peut être utile d’ajuster la distribution de la classe cible. Dans certains cas, la recherche d’une distribution équilibrée pour un ensemble de données fortement déséquilibré peut amener les algorithmes affectés à suradapter la classe minoritaire, ce qui entraîne une augmentation de l’erreur de généralisation. L’effet peut être une meilleure performance sur l’ensemble de données de formation, mais une moins bonne performance sur l’ensemble de données de maintien ou de test.

… le suréchantillonnage aléatoire peut augmenter la probabilité d’occurrence du surajustement, car il fait des copies exactes des exemples de la classe minoritaire. De cette façon, un classificateur symbolique, par exemple, pourrait construire des règles qui sont apparemment précises, mais qui couvrent en fait un seul exemple répliqué.

– Page 83, Learning from Imbalanced Data Sets, 2018.

En tant que tel, pour avoir un aperçu de l’impact de la méthode, il est bon de surveiller les performances sur les ensembles de données de formation et de test après le suréchantillonnage et de comparer les résultats au même algorithme sur l’ensemble de données original.

L’augmentation du nombre d’exemples pour la classe minoritaire, surtout si le skew de la classe était sévère, peut également entraîner une augmentation marquée du coût de calcul lors de l’ajustement du modèle, surtout si l’on considère que le modèle voit les mêmes exemples dans l’ensemble de données d’entraînement encore et encore.

… dans le suréchantillonnage aléatoire, un ensemble aléatoire de copies d’exemples de la classe minoritaire est ajouté aux données. Cela peut augmenter la probabilité d’un surajustement, spécialement pour des taux de suréchantillonnage plus élevés. En outre, il peut diminuer la performance du classificateur et augmenter l’effort de calcul.

– Une enquête sur la modélisation prédictive sous des distributions déséquilibrées, 2015.

Le suréchantillonnage aléatoire peut être mis en œuvre en utilisant la classe RandomOverSampler.

La classe peut être définie et prend un argument sampling_strategy qui peut être défini à « minority » pour équilibrer automatiquement la classe minoritaire avec la ou les classes majoritaires.

Par exemple :

Cela signifie que si la classe majoritaire avait 1 000 exemples et la classe minoritaire 100, cette stratégie suréchantillonnerait la classe minoritaire pour qu’elle ait 1 000 exemples.

Une valeur à virgule flottante peut être spécifiée pour indiquer le ratio des exemples de la classe majoritaire de la minorité dans l’ensemble de données transformé. Par exemple:

Ceci garantirait que la classe minoritaire soit suréchantillonnée pour avoir la moitié du nombre d’exemples que la classe majoritaire, pour les problèmes de classification binaire. Cela signifie que si la classe majoritaire avait 1 000 exemples et la classe minoritaire 100, l’ensemble de données transformé aurait 500 exemples de la classe minoritaire.

La classe est comme un objet de transformation scikit-learn en ce sens qu’elle est ajustée sur un ensemble de données, puis utilisée pour générer un nouvel ensemble de données ou un ensemble de données transformé. Contrairement aux transformées scikit-learn, elle changera le nombre d’exemples dans le jeu de données, pas seulement les valeurs (comme un scaler) ou le nombre de caractéristiques (comme une projection).

Par exemple, elle peut être ajustée et appliquée en une seule étape en appelant la fonction fit_sample():

Nous pouvons démontrer ceci sur un simple problème synthétique de classification binaire avec un déséquilibre de classe de 1:100.

L’exemple complet de définition de l’ensemble de données et de réalisation d’un suréchantillonnage aléatoire pour équilibrer la distribution des classes est repris ci-dessous.

L’exécution de l’exemple crée d’abord le jeu de données, puis résume la distribution des classes. Nous pouvons voir qu’il y a près de 10K exemples dans la classe majoritaire et 100 exemples dans la classe minoritaire.

Puis la transformation de suréchantillon aléatoire est définie pour équilibrer la classe minoritaire, puis ajustée et appliquée au jeu de données. La distribution des classes pour le jeu de données transformé est rapportée montrant que maintenant la classe minoritaire a le même nombre d’exemples que la classe majoritaire.

Cette transformation peut être utilisée dans le cadre d’un Pipeline pour s’assurer qu’elle n’est appliquée au jeu de données d’entraînement que dans le cadre de chaque fractionnement dans une validation croisée k-fold.

Un Pipeline traditionnel de scikit-learn ne peut pas être utilisé ; à la place, un Pipeline de la bibliothèque imbalanced-learn peut être utilisé. Par exemple :

L’exemple ci-dessous fournit un exemple complet d’évaluation d’un arbre de décision sur un ensemble de données déséquilibré avec une distribution de classes 1:100.

Le modèle est évalué à l’aide d’une validation croisée 10 fois répétée à trois reprises, et le suréchantillonnage est effectué sur l’ensemble de données d’entraînement dans chaque pli séparément, en s’assurant qu’il n’y a pas de fuite de données comme cela pourrait se produire si le suréchantillonnage était effectué avant la validation croisée.

L’exécution de l’exemple évalue le modèle d’arbre de décision sur le jeu de données déséquilibré avec suréchantillonnage.

Le modèle et la configuration de rééchantillonnage choisis sont arbitraires, conçus pour fournir un modèle que vous pouvez utiliser pour tester le sous-échantillonnage avec votre jeu de données et votre algorithme d’apprentissage, plutôt que de résoudre de manière optimale le jeu de données synthétique.

Note : Vos résultats peuvent varier compte tenu de la nature stochastique de l’algorithme ou de la procédure d’évaluation, ou des différences de précision numérique. Pensez à exécuter l’exemple plusieurs fois et comparez le résultat moyen.

La stratégie de suréchantillonnage par défaut est utilisée, ce qui équilibre les classes minoritaires avec la classe majoritaire. Le score F1 moyenné sur chaque pli et chaque répétition est rapporté.

Maintenant que nous sommes familiers avec le suréchantillonnage, regardons le sous-échantillonnage.

Sous-échantillonnage aléatoire des ensembles de données déséquilibrés

Le sous-échantillonnage aléatoire consiste à sélectionner au hasard des exemples de la classe majoritaire à supprimer de l’ensemble de données d’entraînement.

Cela a pour effet de réduire le nombre d’exemples de la classe majoritaire dans la version transformée de l’ensemble de données d’entraînement. Ce processus peut être répété jusqu’à ce que la distribution de classe souhaitée soit atteinte, comme un nombre égal d’exemples pour chaque classe.

Cette approche peut être plus appropriée pour les ensembles de données où il y a un déséquilibre de classe bien qu’un nombre suffisant d’exemples dans la classe minoritaire, un tel modèle utile peut être ajusté.

Une limitation du sous-échantillonnage est que les exemples de la classe majoritaire sont supprimés qui peuvent être utiles, importants, ou peut-être critiques pour ajuster une frontière de décision robuste. Étant donné que les exemples sont supprimés de manière aléatoire, il n’y a aucun moyen de détecter ou de préserver les « bons » exemples ou les exemples plus riches en informations de la classe majoritaire.

… dans le sous-échantillonnage aléatoire (potentiellement), de vastes quantités de données sont écartées. Cela peut être très problématique, car la perte de ces données peut rendre la frontière de décision entre les instances minoritaires et majoritaires plus difficile à apprendre, ce qui entraîne une perte de performance de classification.

– Page 45, Imbalanced Learning : Foundations, Algorithms, and Applications, 2013

La technique de sous-échantillonnage aléatoire peut être mise en œuvre à l’aide de la classe RandomUnderSampler imbalanced-learn.

La classe peut être utilisée comme la classe RandomOverSampler de la section précédente, sauf que les stratégies impactent la classe majoritaire au lieu de la classe minoritaire. Par exemple, définir l’argument sampling_strategy à « majority » sous-échantillonnera la classe majoritaire déterminée par la classe avec le plus grand nombre d’exemples.

Par exemple, un jeu de données avec 1 000 exemples dans la classe majoritaire et 100 exemples dans la classe minoritaire sera sous-échantillonné de telle sorte que les deux classes auraient 100 exemples dans le jeu de données d’entraînement transformé.

Nous pouvons également définir l’argument sampling_strategy à une valeur à virgule flottante qui sera un pourcentage relatif à la classe minoritaire, plus précisément le nombre d’exemples dans la classe minoritaire divisé par le nombre d’exemples dans la classe majoritaire. Par exemple, si nous définissons sampling_strategy à 0,5 dans un jeu de données déséquilibré avec 1 000 exemples dans la classe majoritaire et 100 exemples dans la classe minoritaire, alors il y aura 200 exemples pour la classe majoritaire dans le jeu de données transformé (ou 100/200 = 0.5).