POS Tagging met NLTK en Chunking in NLP [VOORBEELDEN]

Laten we leren met een NLTK Part of Speech voorbeeld:

Input: Alles om ons toe te staan.

Uitvoer:

Stappen die betrokken zijn bij het POS tagging voorbeeld:

• Tokenize tekst (word_tokenize)
• toepassen pos_tag op bovenstaande stap dat is nltk.pos_tag(tokenize_text)

NLTK POS Tags Voorbeelden zijn zoals hieronder:

De bovenstaande NLTK POS tag lijst bevat alle NLTK POS Tags. NLTK POS tagger wordt gebruikt om grammaticale informatie toe te kennen aan elk woord van de zin. Het installeren, importeren en downloaden van alle pakketten van POS NLTK is voltooid.

In shallow parsing is er maximaal één niveau tussen wortels en bladeren, terwijl deep parsing uit meer dan één niveau bestaat. Shallow parsing wordt ook wel light parsing of chunking genoemd.

Regels voor Chunking:

Er zijn geen vooraf gedefinieerde regels, maar u kunt ze combineren op basis van behoefte en eis.

Zo moet u bijvoorbeeld het zelfstandig naamwoord, het werkwoord (verleden tijd), het bijvoeglijk naamwoord en de coördinerende verbinding uit de zin markeren. U kunt de regel als volgt gebruiken

chunk:{<NN.?>*<VBD.?>*<JJ.?>*<CC>?}

De volgende tabel laat zien wat de verschillende symbolen betekenen:

Nu Laten we de code schrijven om regel beter te begrijpen

from nltk import pos_tagfrom nltk import RegexpParsertext ="learn php from guru99 and make study easy".split()print("After Split:",text)tokens_tag = pos_tag(text)print("After Token:",tokens_tag)patterns= """mychunk:{<NN.?>*<VBD.?>*<JJ.?>*<CC>?}"""chunker = RegexpParser(patterns)print("After Regex:",chunker)output = chunker.parse(tokens_tag)print("After Chunking",output)

Uitvoer

After Split: After Token: After Regex: chunk.RegexpParser with 1 stages:RegexpChunkParser with 1 rules: <ChunkRule: '<NN.?>*<VBD.?>*<JJ.?>*<CC>?'>After Chunking (S (mychunk learn/JJ) (mychunk php/NN) from/IN (mychunk guru99/NN and/CC) make/VB (mychunk study/NN easy/JJ))

De conclusie uit het bovenstaande Part of Speech tagging Python voorbeeld: “make” is een werkwoord dat niet in de regel is opgenomen, dus wordt het niet getagd als mychunk

Use Case of Chunking

Chunking wordt gebruikt voor het opsporen van entiteiten. Een entiteit is dat deel van de zin door welke machine de waarde voor een intentie

Example: Temperature of New York. Here Temperature is the intention and New York is an entity. 

In andere woorden, chunking wordt gebruikt als het selecteren van de subsets van tokens. Volg de onderstaande code om te begrijpen hoe chunking wordt gebruikt om de tokens te selecteren. In dit voorbeeld zult u de grafiek zien die overeenkomt met een chunk van een zelfstandig naamwoord zinsdeel. We zullen de code schrijven en de grafiek tekenen voor een beter begrip.

Code to Demonstrate Use Case

 import nltktext = "learn php from guru99"tokens = nltk.word_tokenize(text)print(tokens)tag = nltk.pos_tag(tokens)print(tag)grammar = "NP: {<DT>?<JJ>*<NN>}"cp =nltk.RegexpParser(grammar)result = cp.parse(tag)print(result)result.draw() # It will draw the pattern graphically which can be seen in Noun Phrase chunking 

Output:

 -- These are the tokens -- These are the pos_tag(S (NP learn/JJ php/NN) from/IN (NP guru99/NN)) -- Noun Phrase Chunking