在前一篇中介紹了用HMM做中文分詞,對(duì)于未登錄詞(out-of-vocabulary, OOV)有良好的識(shí)別效果,但是缺點(diǎn)也十分明顯——對(duì)于詞典中的(in-vocabulary, IV)詞卻未能很好地識(shí)別。主要是因?yàn)?,HMM本質(zhì)上是一個(gè)Bigram的語(yǔ)法模型,未能深層次地考慮上下文(context)。對(duì)于此,本文將介紹更為復(fù)雜的二階HMM以及開(kāi)源實(shí)現(xiàn)。
1. 前言
n-gram語(yǔ)法模型
n-gram語(yǔ)法模型用來(lái):在已知前面
網(wǎng)友評(píng)論