学习Xapian(3) – 同义词的查询拓展

Xapian支持同义词的查询拓展。
按照同义词进行拓展算是查询拓展最基本的一种方式。
比如“汽车展览”“车展”是同义词,我们搜索汽车展览的时候,也会把“车展”的结果返回。
很多人认为这个就是拼写校正,但实际它比拼写校正稍微高级点,特别是放在Xapian的语境下,毕竟拼写校正是基于编辑距离而不是语义的。

1、在DB写入同义词组
创建同义词组的API很简明。
WritableDatabase::add_synonym(term, synonym)
这一对同义词是有方向的,term的同义词是synonym,反之不成立。
即我们搜索“汽车展览”时能拓展出“车展”,反之不成立,如果你需要,那么反着再插入一次吧!

2、在搜索时使用同义词组
和拼写校正一样,肯定的对QueryParser设置db,QueryParser::set_database()
然后在QueryParser::parse_query时,第二个参数传入FLAG_SYNONYM 或者 FLAG_AUTO_SYNONYMS
FLAG_SYNONYM 是在查询语句中出现~WORD 的形式,则把WORD自动同义词拓展
FLAG_AUTO_SYNONYMS 则是把全部的词都给查询拓展,不用显示的写~。

例子:写入同义词组

#include <xapian.h>
#include <iostream>

using namespace std;

#define CONTENT "70比 69, 这是 男篮 亚锦赛 历史上 的 最小 分 差 比赛 , 笑 到 最后 的是 东道主 中国队 。 可以说 , 这是 一次 最 惊险 的 胜利 ; 也可 以 说 , 这是 中国男篮 最 幸运 的 结局 。终 >  场 哨 响 , 中国队 主教练 邓 华德 和 篮管中心 副主任 胡 加时 紧紧拥抱 在一 起 , 两人 都 激动 得 热泪盈眶 —— 中国队 赢了 , 赢得 很 庆幸 。"

#define INDEX_PATH "./index_data"

#define WORD1 "男蓝"

#define WORD2 "男篮"

int main()
{
	try
	{
		//Text to be indexed
		string content(CONTENT);

		//Open an Database for write
		Xapian::WritableDatabase db(string(INDEX_PATH), Xapian::DB_CREATE_OR_OPEN);

		//Add Synonym
		db.add_synonym(string(WORD1), string(WORD2));

		//Prepare TermGenerator, just split word by space, not chinese analysis
		Xapian::TermGenerator indexer;

		//Make Document
		Xapian::Document doc;
		doc.set_data(content);
		indexer.set_document(doc);
		indexer.index_text(content);

		//Add Document to db
		db.add_document(doc);

		//Flush to disk
		db.commit();
	}
	catch(const Xapian::Error &e)
	{
		cout << e.get_description() << endl;
	}
	return 0;
}

例子:同义词组查询拓展

#include <xapian.h>
#include <iostream>

using namespace std;

#define QUERY "~男蓝 AND 中国队"

#define INDEX_PATH "./index_data"

int main()
{
	try
	{
		//Query
		string query_str(QUERY);

		//Open an Database for read
		Xapian::Database db(string(INDEX_PATH));

		//Open Search Handle
		Xapian::Enquire enquire(db);

		//Parser Query, set db && FLAG_AUTO_SYNONYMS
		Xapian::QueryParser qp;
		qp.set_database(db);
		Xapian::Query query = qp.parse_query(query_str, Xapian::QueryParser::FLAG_SYNONYM);
		cout << "Query is " << query.get_description() << endl;

		//Find top 10 results
		enquire.set_query(query);
		Xapian::MSet result = enquire.get_mset(0, 10);
		cout << result.get_matches_estimated() << " results found" << endl;

		//Print results
		for(Xapian::MSetIterator itr = result.begin(); itr!=result.end(); itr++)
		{
			Xapian::Document doc = itr.get_document();
			cout << itr.get_rank() << ": " << ", data " << doc.get_data() << endl;
		}

		//Close DB
		db.close();
	}
	catch(const Xapian::Error &e)
	{
		cout << e.get_description() << endl;
	}
	return 0;
}

Leave a Reply

Your email address will not be published.