POS Tagging med NLTK og Chunking i NLP [EKSEMPLER]

POS Tagging

POS Tagging (Parts of Speech Tagging) er en proces til at markere ord i tekstformat for en bestemt del af en tale baseret på dens definition og kontekst. Den er ansvarlig for tekstlæsning i et sprog og tildeler et bestemt token (Parts of Speech) til hvert ord. Det kaldes også grammatisk mærkning.

I shallow parsing er der højst ét niveau mellem rødder og blade, mens deep parsing består af mere end ét niveau. Shallow parsing kaldes også for light parsing eller chunking.

Regler for chunking:

Der er ingen foruddefinerede regler, men du kan kombinere dem alt efter behov og krav.

For eksempel skal du markere navneord, udsagnsord (fortid), adjektiv og koordinerende forbindelsesled fra sætningen. Du kan bruge reglen som nedenfor

chunk:{<NNN.?>*<VBD.?>*<JJJ.?>*<CC>?}

Følgende tabel viser, hvad de forskellige symboler betyder:

Nu Lad os skrive koden for at forstå reglen bedre

from nltk import pos_tagfrom nltk import RegexpParsertext ="learn php from guru99 and make study easy".split()print("After Split:",text)tokens_tag = pos_tag(text)print("After Token:",tokens_tag)patterns= """mychunk:{<NN.?>*<VBD.?>*<JJ.?>*<CC>?}"""chunker = RegexpParser(patterns)print("After Regex:",chunker)output = chunker.parse(tokens_tag)print("After Chunking",output)

Output

After Split: After Token: After Regex: chunk.RegexpParser with 1 stages:RegexpChunkParser with 1 rules: <ChunkRule: '<NN.?>*<VBD.?>*<JJ.?>*<CC>?'>After Chunking (S (mychunk learn/JJ) (mychunk php/NN) from/IN (mychunk guru99/NN and/CC) make/VB (mychunk study/NN easy/JJ))

Konklusionen fra ovenstående Python-eksempel for Part of Speech-markering: “make” er et verbum, som ikke er medtaget i reglen, så det er ikke tagget som mychunk

Use Case of Chunking

Chunking bruges til at opdage enheder. En enhed er den del af sætningen, hvormed maskinen får værdien for enhver hensigt

Example: Temperature of New York. Here Temperature is the intention and New York is an entity. 

Med andre ord bruges chunking som udvælgelse af delmængder af tokens. Følg venligst nedenstående kode for at forstå, hvordan chunking bruges til at vælge tokens. I dette eksempel vil du se den graf, der svarer til en chunk af en navneordsfrase. Vi vil skrive koden og tegne grafen for bedre at forstå den.

Kode til demonstration af Use Case

 import nltktext = "learn php from guru99"tokens = nltk.word_tokenize(text)print(tokens)tag = nltk.pos_tag(tokens)print(tag)grammar = "NP: {<DT>?<JJ>*<NN>}"cp =nltk.RegexpParser(grammar)result = cp.parse(tag)print(result)result.draw() # It will draw the pattern graphically which can be seen in Noun Phrase chunking 

Output:

 -- These are the tokens -- These are the pos_tag(S (NP learn/JJ php/NN) from/IN (NP guru99/NN)) -- Noun Phrase Chunking

Graph

Noun Phrase chunking Graph

Af grafen kan vi konkludere, at “learn” og “guru99” er to forskellige tokens, men er kategoriseret som Noun Phrase, mens token “from” ikke hører til Noun Phrase.

Chunking bruges til at kategorisere forskellige tokens i den samme chunk. Resultatet vil afhænge af den grammatik, der er blevet valgt. Yderligere Chunking NLTK bruges til at mærke mønstre og til at udforske tekstkorpora.

Summary

• POS Tagging i NLTK er en proces til at markere ord i tekstformat for en bestemt del af en tale baseret på dens definition og kontekst.
• Som NLTK POS tagging eksempler er: CC, CD, EX, JJ, MD, NNP, PDT, PRP$, TO osv.
• POS-tagger bruges til at tildele grammatiske oplysninger om hvert ord i en sætning. Installation, import og downloading af alle pakker af Part of Speech tagging med NLTK er komplet.
• Chunking i NLP er en proces til at tage små stykker information og gruppere dem i store enheder.
• Der er ingen foruddefinerede regler, men du kan kombinere dem efter behov og krav.
• Chunking bruges til detektion af enheder. En entitet er den del af sætningen, hvormed maskinen får værdien for en hensigt
• Chunking bruges til at kategorisere forskellige tokens i samme chunk.