NLTK和StandfordNLP簡介
NLTK：由賓夕法尼亞大學(xué)計(jì)算機(jī)和信息科學(xué)使用python語言實(shí)現(xiàn)的一種自然語言工具包，其收集的大量公開數(shù)據(jù)集、模型上提供了全面、易用的接口，涵蓋了分詞、詞性標(biāo)注(Part-Of-Speech tag, POS-tag)、命名實(shí)體識(shí)別(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各項(xiàng) NLP 領(lǐng)域的功能。
Stanford NLP：由斯坦福大學(xué)的 NLP 小組開源的 Java 實(shí)現(xiàn)的 NLP 工具包，同樣對 NLP 領(lǐng)域的各個(gè)問題提供了解決辦法。斯坦福大學(xué)的 NLP 小組是世界知名的研究小組，能將 NLTK 和 Stanford NLP 這兩個(gè)工具包結(jié)合起來使用，那對于自然語言開發(fā)者是再好不過的！在 2004 年 Steve Bird 在 NLTK 中加上了對 Stanford NLP 工具包的支持，通過調(diào)用外部的 jar 文件來使用 Stanford NLP 工具包的功能。本分析顯得非常方便好用。
本文在主要介紹NLTK 中提供 Stanford NLP 中的以下幾個(gè)功能:
- 中英文分詞: StanfordTokenizer
- 中英文詞性標(biāo)注: StanfordPOSTagger
- 中英文命名實(shí)體識(shí)別: StanfordNERTagger
- 中英文句法分析: StanfordParser
- 中英文依存句法分析: StanfordDependencyParser, StanfordNeuralDependencyParser
2 安裝配置過程中注意事項(xiàng)
本文以Python 3.5.2和java version "1.8.0_111"版本進(jìn)行配置，具體安裝需要注意以下幾點(diǎn)：
- Stanford NLP 工具包需要 Java 8 及之后的版本，如果出錯(cuò)請檢查 Java 版本
- 本文的配置都是以 Stanford NLP 3.6.0 為例，如果使用的是其他版本，請注意替換相應(yīng)的文件名
- 本文的配置過程以 NLTK 3.2 為例，如果使用 NLTK 3.1，需要注意該舊版本中 StanfordSegmenter 未實(shí)現(xiàn)，其余大致相同
- 下面的配置過程是具體細(xì)節(jié)可以參照：http://nlp.stanford.edu/software/
3 StandfordNLP必要工具包下載
必要包下載：只需要下載以下兩個(gè)文件就夠了，stanfordNLTK文件里面就是StanfordNLP工具包在NLTK中所依賴的jar包和相關(guān)文件
- stanfordNLTK ：自己將所有需要的包和相關(guān)文件已經(jīng)打包在一起了，下面有具體講解
-
Jar1.8 ：如果你本機(jī)是Jav
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式