学习Xapian(2) – 拼写校正

Xapian提供了拼写校正功能,其基本算法就是编辑距离,只不过它支持UTF-8,也就是说是支持中文的。

1、建立拼写校正辞典

虽然编辑距离的算法很土很原始,但是Xapian提供了方便的接口建立辞典,至少有如下两种方式:
(1)Xapian::WritableDatabase.db.add_spelling(word, freq)
word就是正确的词,freq是出现频率,默认是1。
频率的作用是这样的,如果对于一个词比如篮球和蓝球,前者add了4次,后者出现了3词,那么当对”兰球”进行拼写纠正的时候,就会选择多的那个即篮球。
(2)上面的add_spelling方法有点麻烦,如果把一个词一个词添加进去不是很麻烦……于是我们继续借助TermGenerator.
首先Xapian::TermGenerator.set_database(db)
然后Xapian::TermGenerator.set_flags(FLAG_SPELLING)
之后,索引通过TermGenerator建索引的词都会被加入到Spelling辞典中了!

2、使用辞典进行拼写校正

现在我们有了辞典,如何进行拼写校正呢,这是在Query阶段完成的。
(1)打开Xapian::Database
(2)调用db.get_spelling_suggestion(word,dist = 2)就能获得校正啦!如果没有建议的校正,会返回一个空的字符串,这需要自己处理一下。dist是允许的最大编辑距离,默认是2.

转载自:Xapian 学习(2) 拼写校正

总体来说,虽然编辑距离算法是最土的算法之一(相对与语义分析等高端技术),但对于一般的简单检索系统已经足够了。更何况Xapian提供了强大、合理的接口,让我们能很方便的建立起拼写纠正辞典,这真的已经是很人性化的了。

源代码:通过add_spelling,一个一个的建立起拼写纠正辞典

源代码:通过TermGenerator方式建立起来的拼写纠正

源代码:查询时候获取拼写纠正结果

Leave a Reply

Your email address will not be published.