Tempo di lettura: 30 minuti
I modelli discriminativi, detti anche modelli condizionali, sono una classe di modelli usati nella classificazione statistica, specialmente nell’apprendimento automatico supervisionato.
A differenza della modellazione generativa, che studia dalla probabilità congiunta P(x,y), la modellazione discriminativa studia la P(y|x) cioè, predice la probabilità di y(target) quando dato x(campioni di addestramento).Cioè, predice la probabilità di y (obiettivo) quando si dà x (campioni di formazione).
- Comprendiamo questo con l’aiuto di un esempio matematico:
Supponiamo che i dati di input siano x e che l’insieme di etichette per x sia y. Consideriamo i seguenti 4 punti dati:
(x,y) –> {(0,0), (0,0), (1,0), (1,1)}Per i dati di cui sopra, p(x,y) sarà la seguente:
mentre p(y|x) sarà la seguente:
Se diamo uno sguardo a queste due matrici, capiremo la differenza tra le due distribuzioni di probabilità.
Così gli algoritmi discriminativi cercano di imparare p(y|x) direttamente dai dati e poi cercano di classificare i dati.
D’altra parte, gli algoritmi generativi cercano di imparare p(x,y) che può essere trasformato in p(y|x) più tardi per classificare i dati. Uno dei vantaggi degli algoritmi generativi è che si può usare p(x,y) per generare nuovi dati simili a quelli esistenti. D’altra parte, gli algoritmi discriminativi generalmente danno migliori prestazioni nei compiti di classificazione.
Nei modelli discriminativi, per predire l’etichetta y dall’esempio di addestramento x, dobbiamo valutare:
che semplicemente sceglie qual è la classe y più probabile considerando x. È come se cercassimo di modellare il confine decisionale tra le classi. Questo comportamento è molto chiaro nelle reti neurali, dove i pesi calcolati possono essere visti come una curva di forma complessa che isola gli elementi di una classe nello spazio.
- concentrato sul confine decisionale.
- più potente con molti esempi.
- non progettato per usare dati non etichettati.
- solo compito supervisionato.
Classificatori discriminativi Esempi
I modelli discriminativi sono preferiti nei seguenti approcci:
- Regressione logistica
- Scalar Vector Machine
- Reti neurali tradizionali
- Ricerca del vicino più prossimo
- Conditional Random Fields (CRF)s
Benefici del modello discriminativo
- I modelli discriminativi sono usati per ottenere una migliore precisione sui dati di allenamento.
- Quando i dati di addestramento sono grandi, l’accuratezza per i dati futuri sarà buona.
- Quando il numero di parametri è limitato, un modello discriminativo cercherà di ottimizzare la predizione di y da x, mentre un modello generativo cercherà di ottimizzare la predizione congiunta di x e y. Per questo motivo, i modelli discriminativi superano i modelli generativi nei compiti di predizione condizionata.