Temps de lecture : 30 minutes
Les modèles discriminatifs, également appelés modèles conditionnels, sont une classe de modèles utilisés en classification statistique, notamment en apprentissage automatique supervisé.
Contrairement à la modélisation générative, qui étudie à partir de la probabilité conjointe P(x,y), la modélisation discriminative étudie la P(y|x) i.e, elle prédit la probabilité de y(cible) lorsqu’on lui donne x(échantillons d’entraînement).
- Permettons de comprendre cela à l’aide d’un exemple mathématique:
Supposons que les données d’entrée sont x et que l’ensemble des étiquettes pour x est y. Considérons les 4 points de données suivants :
(x,y) –> {(0,0), (0,0), (1,0), (1,1)}Pour les données ci-dessus, p(x,y) sera le suivant :
alors que p(y|x) sera le suivant :
Si nous jetons un coup d’œil à ces deux matrices, nous comprendrons la différence entre les deux distributions de probabilité.
Donc, les algorithmes discriminatifs essaient d’apprendre p(y|x) directement à partir des données et essaient ensuite de classer les données.
En revanche, les algorithmes génératifs essaient d’apprendre p(x,y) qui peut être transformé en p(y|x) plus tard pour classer les données. L’un des avantages des algorithmes génératifs est que vous pouvez utiliser p(x,y) pour générer de nouvelles données similaires aux données existantes. D’autre part, les algorithmes discriminatifs donnent généralement de meilleures performances dans les tâches de classification.
Dans les modèles discriminatifs, pour prédire l’étiquette y à partir de l’exemple de formation x, nous devons évaluer :
ce qui ne fait que choisir quelle est la classe y la plus probable compte tenu de x. C’est comme si nous essayions de modéliser la frontière de décision entre les classes. Ce comportement est très clair dans les réseaux neuronaux, où les poids calculés peuvent être vus comme une courbe de forme complexe isolant les éléments d’une classe dans l’espace.
- focus sur la frontière de décision.
- plus puissant avec beaucoup d’exemples.
- non conçu pour utiliser des données non étiquetées.
- seulement une tâche supervisée.
Classificateurs discriminants Exemples
Les modèles discriminants sont privilégiés dans les approches suivantes :
- Régression logistique
- Machine vectorielle scalaire
- Réseaux neuronaux traditionnels
- Recherche du plus proche voisin
- Champs aléatoires conditionnels (CRF)s
Bénéfices du modèle discriminatif
- Les modèles discriminatifs sont utilisés pour obtenir une meilleure précision sur les données d’apprentissage.
- Quand les données d’apprentissage sont grandes ,la précision pour les données futures sera bonne.
- Lorsque le nombre de paramètres est limité, un modèle discriminatif va tenter d’optimiser la prédiction de y à partir de x, alors qu’un modèle génératif va tenter d’optimiser la prédiction conjointe de x et de y. Pour cette raison, les modèles discriminatifs surpassent les modèles génératifs dans les tâches de prédiction conditionnelle.