Lästid:
Diskriminativa modeller, även kallade villkorliga modeller, är en klass av modeller som används vid statistisk klassificering, särskilt vid övervakad maskininlärning.
Till skillnad från den generativa modellen, som utgår från den gemensamma sannolikheten P(x,y), studerar den diskriminativa modellen P(y|x) i.Den förutsäger sannolikheten för y (mål) när den ges x (träningsprov).
- Låt oss förstå detta med hjälp av ett matematiskt exempel:
Antag att ingångsdata är x och att uppsättningen av etiketter för x är y. Överväg följande 4 datapunkter:
(x,y) –> {(0,0), (0,0), (1,0), (1,1)}För ovanstående data blir p(x,y) följande:
medans p(y|x) blir följande:
Om vi tittar på dessa två matriser kommer vi att förstå skillnaden mellan de två sannolikhetsfördelningarna.
Så diskriminerande algoritmer försöker lära sig p(y|x) direkt från data och försöker sedan klassificera data.
Å andra sidan försöker generativa algoritmer lära sig p(x,y) som kan omvandlas till p(y|x) senare för att klassificera data. En av fördelarna med generativa algoritmer är att man kan använda p(x,y) för att generera nya data som liknar befintliga data. Å andra sidan ger diskriminerande algoritmer i allmänhet bättre prestanda vid klassificeringsuppgifter.
I diskriminerande modeller måste vi för att förutsäga etiketten y från träningsexemplaret x utvärdera:
vilket bara väljer vad som är den mest sannolika klassen y med tanke på x. Det är som om vi försöker modellera beslutsgränsen mellan klasserna. Detta beteende är mycket tydligt i neurala nätverk, där de beräknade vikterna kan ses som en komplex formad kurva som isolerar elementen i en klass i utrymmet.
- fokuserar på beslutsgränsen.
- mer kraftfull med många exempel.
- inte utformad för att använda omärkta data.
- något som är utformat för att använda icke-märkta data.
- något som endast är en övervakad uppgift.
Diskriminativa klassificerare Exempel
Diskriminativa modeller är att föredra vid följande tillvägagångssätt:
- Logistisk regression
- Skalar Vector Machine
- Traditionella neurala nätverk
- Närmaste granne-sökning
- Konditionella slumpmässiga fält (CRF)s
Fördelar med diskriminerande modeller
- Diskriminerande modeller används för att få bättre noggrannhet på utbildningsdata.
- När träningsdata är stora blir noggrannheten för framtida data god.
- När antalet parametrar är begränsat kommer en diskriminerande modell att försöka optimera förutsägelsen av y från x, medan en generativ modell kommer att försöka optimera den gemensamma förutsägelsen av x och y. På grund av detta överträffar diskriminerande modeller generativa modeller vid betingade förutsägelseuppgifter.