在前一篇中介紹了用HMM做中文分詞,對于未登錄詞(out-of-vocabulary, OOV)有良好的識別效果,但是缺點也十分明顯——對于詞典中的(in-vocabulary, IV)詞卻未能很好地識別。主要是因為,HMM本質(zhì)上是一個Bigram的語法模型,未能深層次地考慮上下文(context)。對于此,本文將介紹更為復(fù)雜的二階HMM以及開源實現(xiàn)。
1. 前言
n-gram語法模型
n-gram語法模型用來:在已知前面
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式