Leestijd: 30 minuten
Discriminatieve modellen, ook wel voorwaardelijke modellen genoemd, zijn een klasse modellen die gebruikt worden bij statistische classificatie, met name bij machine learning onder supervisie.
In tegenstelling tot de generatieve modellen, die uitgaan van de gezamenlijke kans P(x,y), bestudeert de discriminatieve modellering de P(y|x) d.w.z.Dat wil zeggen dat het de waarschijnlijkheid van y (doel) voorspelt wanneer x (trainingsmonsters) wordt gegeven.
- Laten we dit begrijpen met behulp van een wiskundig voorbeeld:
Voorstel dat de invoergegevens x zijn en de verzameling labels voor x is y. Beschouw de volgende 4 gegevenspunten:
(x,y) –> {(0,0), (0,0), (1,0), (1,1)}Voor bovenstaande gegevens zal p(x,y) als volgt zijn:
terwijl p(y|x) als volgt zal zijn:
Als we naar deze twee matrices kijken, zullen we het verschil tussen de twee kansverdelingen begrijpen.
Dus discriminatieve algoritmen proberen p(y|x) direct uit de gegevens te leren en proberen dan de gegevens te classificeren.
Aan de andere kant proberen generatieve algoritmen p(x,y) te leren, dat later kan worden getransformeerd in p(y|x) om de gegevens te classificeren. Een van de voordelen van generatieve algoritmen is dat u p(x,y) kunt gebruiken om nieuwe gegevens te genereren die lijken op bestaande gegevens. Anderzijds leveren discriminatieve algoritmen over het algemeen betere prestaties bij classificatietaken.
In discriminatieve modellen moeten we, om het label y te voorspellen uit het trainingsvoorbeeld x, evalueren:
die alleen maar kiest wat de meest waarschijnlijke klasse y is gezien x. Het is alsof we de beslissingsgrens tussen de klassen probeerden te modelleren. Dit gedrag is heel duidelijk in neurale netwerken, waar de berekende gewichten kunnen worden gezien als een complex gevormde curve die de elementen van een klasse in de ruimte isoleert.
- focus op beslissingsgrens.
- krachtiger met veel voorbeelden.
- niet ontworpen om ongelabelde gegevens te gebruiken.
- alleen gesuperviseerde taak.
Discriminatieve Classifiers Voorbeelden
Discriminatieve modellen hebben de voorkeur in de volgende benaderingen:
- Logistische regressie
- Scalar Vector Machine
- Traditionele neurale netwerken
- Nearest neighbour search
- Conditional Random Fields (CRF)s
Voordelen van Discriminatief Model
- Discriminatieve modellen worden gebruikt om een betere nauwkeurigheid te krijgen op trainingsgegevens.
- Wanneer de trainingsgegevens groot zijn, zal de nauwkeurigheid voor toekomstige gegevens goed zijn.
- Wanneer het aantal parameters beperkt is, zal een discriminerend model proberen de voorspelling van y uit x te optimaliseren, terwijl een generatief model zal proberen de gezamenlijke voorspelling van x en y te optimaliseren.