摘要:NLTK是由賓夕法尼亞大學(xué)計(jì)算機(jī)和信息科學(xué)使用python語(yǔ)言實(shí)現(xiàn)的一種自然語(yǔ)言工具包,其收集的大量公開(kāi)數(shù)據(jù)集、模型上提供了全面、易用的接口,涵蓋了分詞、詞性標(biāo)注(Part-Of-Speech tag, POS-tag)、命名實(shí)體識(shí)別(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各項(xiàng) NLP 領(lǐng)域的功能。本文主要介紹:1)怎樣編寫(xiě)程序訪(fǎng)問(wèn)本地和網(wǎng)絡(luò)上的文件,從而獲得無(wú)限的語(yǔ)言材料?2)如何把文檔分割成單獨(dú)的單詞和標(biāo)點(diǎn)符號(hào),并進(jìn)行文本語(yǔ)料上的分析?3)怎樣編寫(xiě)程序產(chǎn)生格式化輸出,并把結(jié)果保存在文件中?關(guān)于Python基礎(chǔ)知識(shí)可以參看本人的【Python五篇慢慢彈】系列文章(本文原創(chuàng)編著,轉(zhuǎn)載注明出處:Python NLTK處理原始文本)
目錄
【Python NLP】干貨!詳述Python NLTK下如何使用stanford NLP工具包(1)
【Python NLP】Python 自然語(yǔ)言處理工具小結(jié)(2)
【Python NLP】Python NLTK 走進(jìn)大秦帝國(guó)(3)
【Python NLP】Python NLTK獲取文本語(yǔ)料和詞匯資源(4)
【Python NLP】Python NLTK處理原始文本(5)
關(guān)于處理原始文本部分導(dǎo)入語(yǔ)句:
>>> from __future__ import division >>> import nltk,re,pprint
1 從網(wǎng)絡(luò)和硬盤(pán)訪(fǎng)問(wèn)文本(在線(xiàn)獲取傷寒雜病論)
python網(wǎng)絡(luò)訪(fǎng)問(wèn)程序: <