NLTK による POS タギングと NLP におけるチャンキング [EXAMPLES]

NLTKのPart of Speechの例で学びましょう。

入力します。 私たちを許可するすべてのもの。

Output:

品詞タグの例に含まれるステップ：

• テキストをトークン化する (word_tokenize)
• apply pos_tag to above step that is nltk.pos_tag(tokenize_text)

NLTK POSタグの例として、以下がある。

以上のNLTK POSタグリストで全てのNLTK POSタグが確認できます。 NLTKのPOSタグは、文の各単語の文法情報を付与するために使用されます。 POS NLTKのすべてのパッケージのインストール、インポート、ダウンロードは完了です。

浅い構文解析では、根と葉の間のレベルは最大1つですが、深い構文解析では2つ以上のレベルで構成されます。 浅い構文解析は軽い構文解析またはチャンキングとも呼ばれます。

チャンキングのルール:

定義されたルールはありませんが、必要性と要件に応じて組み合わせることができます。

たとえば、文中の名詞、動詞（過去形）、形容詞、および接続詞をタグ付けする必要があるとします。 この場合、次のルールを使用します。

chunk:{<NN.?>*<VBD.?>*<JJ.?>*<CC>?};

chunk:{<NN.?*<VBD.?

以下の表は、それぞれの記号の意味を示しています。

Now Let us write the code to understand rule better

from nltk import pos_tagfrom nltk import RegexpParsertext ="learn php from guru99 and make study easy".split()print("After Split:",text)tokens_tag = pos_tag(text)print("After Token:",tokens_tag)patterns= """mychunk:{<NN.?>*<VBD.?>*<JJ.?>*<CC>?}"""chunker = RegexpParser(patterns)print("After Regex:",chunker)output = chunker.parse(tokens_tag)print("After Chunking",output)

Output

After Split: After Token: After Regex: chunk.RegexpParser with 1 stages:RegexpChunkParser with 1 rules: <ChunkRule: '<NN.?>*<VBD.?>*<JJ.?>*<CC>?'>After Chunking (S (mychunk learn/JJ) (mychunk php/NN) from/IN (mychunk guru99/NN and/CC) make/VB (mychunk study/NN easy/JJ))

The conclusion from the above Part of Speech tagging Python examples: 「make “はルールに含まれない動詞なので、mychunkとしてタグ付けされない

チャンキングの使用例

チャンキングはエンティティ検知に使用されます。 エンティティとは、機械が何らかの意図の値を取得する文の部分です

Example: Temperature of New York. Here Temperature is the intention and New York is an entity. 

つまり、チャンキングはトークンのサブセットを選択するために使用されます。 以下のコードでチャンキングがどのように使われ、トークンが選択されるかを理解することができる。 この例では、名詞句のチャンクに対応するグラフを見ることができます。 理解を深めるために、コードを書き、グラフを描くことにします。

Code to Demonstrate Use Case

 import nltktext = "learn php from guru99"tokens = nltk.word_tokenize(text)print(tokens)tag = nltk.pos_tag(tokens)print(tag)grammar = "NP: {<DT>?<JJ>*<NN>}"cp =nltk.RegexpParser(grammar)result = cp.parse(tag)print(result)result.draw() # It will draw the pattern graphically which can be seen in Noun Phrase chunking 

Output:

 -- These are the tokens -- These are the pos_tag(S (NP learn/JJ php/NN) from/IN (NP guru99/NN)) -- Noun Phrase Chunking

グラフ

Noun Phrase chunking Graph

グラフから、learn と guru99 は異なるトークンですが Noun Phrase として分類され、一方 from は Noun Phrase に属さないと結論付けられます。

チャンキングは、異なるトークンを同じチャンクに分類するために使用されます。 結果は、選択されている文法に依存します。 さらにチャンキング NLTK は、パターンにタグ付けし、テキスト コーポラを探索するために使用されます。

概要

• NLTK の POS タグは、定義とコンテキストに基づいて、音声の特定の部分に対してテキスト形式の単語をマークアップするプロセスです。 CC、CD、EX、JJ、MD、NNP、PDT、PRP$、TO など。
• POS タグ付け器は、文の各単語の文法情報を割り当てるために使用されます。 NLTKによる品詞タグ付けのすべてのパッケージのインストール、インポート、ダウンロードが完了しました。
• 自然言語処理におけるチャンキングは、小さな情報の断片を取り出し、大きな単位にまとめる処理です。
• あらかじめ決められた規則はありませんが、必要性と要件に応じて組み合わせることができます。
• チャンキングはエンティティ検知に使用されています。
• チャンキングは、異なるトークンを同じチャンクに分類するために使用されます。