学习Xapian(2) – 拼写校正

Xapian提供了拼写校正功能，其基本算法就是编辑距离，只不过它支持UTF-8，也就是说是支持中文的。

1、建立拼写校正辞典

虽然编辑距离的算法很土很原始，但是Xapian提供了方便的接口建立辞典，至少有如下两种方式：
(1)Xapian::WritableDatabase.db.add_spelling(word, freq)
word就是正确的词，freq是出现频率，默认是1。
频率的作用是这样的，如果对于一个词比如篮球和蓝球，前者add了4次，后者出现了3词，那么当对”兰球”进行拼写纠正的时候，就会选择多的那个即篮球。
(2)上面的add_spelling方法有点麻烦，如果把一个词一个词添加进去不是很麻烦……于是我们继续借助TermGenerator.
首先Xapian::TermGenerator.set_database(db)
然后Xapian::TermGenerator.set_flags(FLAG_SPELLING)
之后，索引通过TermGenerator建索引的词都会被加入到Spelling辞典中了！

2、使用辞典进行拼写校正

现在我们有了辞典，如何进行拼写校正呢，这是在Query阶段完成的。
(1)打开Xapian::Database
(2)调用db.get_spelling_suggestion(word,dist = 2)就能获得校正啦！如果没有建议的校正，会返回一个空的字符串，这需要自己处理一下。dist是允许的最大编辑距离，默认是2.

总体来说，虽然编辑距离算法是最土的算法之一（相对与语义分析等高端技术），但对于一般的简单检索系统已经足够了。更何况Xapian提供了强大、合理的接口，让我们能很方便的建立起拼写纠正辞典，这真的已经是很人性化的了。

源代码：通过add_spelling，一个一个的建立起拼写纠正辞典

#include <xapian.h> 
#include <iostream> 
using namespace std; 
#define CONTENT "70比 69， 这是 男篮 亚锦赛 历史上 的 最小 分 差 比赛 ， 笑 到 最后 的是 东道主 中国队 。 可以说 ， 这是 一次 最 惊险 的 胜利 ； 也可 以 说 ， 这是 中国男篮 最 幸运 的 结局 。终 > 场 哨 响 ， 中国队 主教练 邓 华德 和 篮管中心 副主任 胡 加时 紧紧拥抱 在一 起 ， 两人 都 激动 得 热泪盈眶 —— 中国队 赢了 ， 赢得 很 庆幸 。" 
const char * SPELLS[3] = {"篮球", "蓝球", "蓝球"}; 
#define INDEX_PATH "./index_data" 
int main() 
{ 

try

{ 

//Text to be indexed 

string content(CONTENT); 

//Open an Database for write 

Xapian::WritableDatabase db(string(INDEX_PATH), Xapian::DB_CREATE_OR_OPEN); 

//Prepare TermGenerator, just split word by space, not chinese analysis 

Xapian::TermGenerator indexer; 

//Make Document 

Xapian::Document doc; 

doc.set_data(content); 

indexer.set_document(doc); 

indexer.index_text(content); 

//Add Document to db 

db.add_document(doc); 

//Make Spelling one by one 

for(int i=0; i<3; i++) 

{ 

db.add_spelling(string(SPELLS[i]), 1000); 

} 

//Flush to disk 

db.commit(); 

} 

catch(const Xapian::Error &e) 

{ 

cout << e.get_description() << endl; 

} 

return 0; 

}

源代码：通过TermGenerator方式建立起来的拼写纠正

#相关代码
#include <xapian.h> 
#include <iostream> 
using namespace std; 
#define CONTENT "70比 69， 这是 男篮 亚锦赛 历史上 的 最小 分 差 比赛 ， 笑 到 最后 的是 东道主 中国队 。 可以说 ， 这是 一次 最 惊险 的 胜利 ； 也可 以 说 ， 这是 中国男篮 最 幸运 的 结局 。终 > 场 哨 响 ， 中国队 主教练 邓 华德 和 篮管中心 副主任 胡 加时 紧紧拥抱 在一 起 ， 两人 都 激动 得 热泪盈眶 —— 中国队 赢了 ， 赢得 很 庆幸 。 篮球 " 
#define INDEX_PATH "./index_data" 
int main() 
{ 

try

{ 

//Text to be indexed 

string content(CONTENT); 

//Open an Database for write 

Xapian::WritableDatabase db(string(INDEX_PATH), Xapian::DB_CREATE_OR_OPEN); 

//Prepare TermGenerator, just split word by space, not chinese analysis 

Xapian::TermGenerator indexer; 

//Set TermGenerator Database and SPELLING flag 

indexer.set_database(db); 

indexer.set_flags(indexer.FLAG_SPELLING); 

//Make Document 

Xapian::Document doc; 

doc.set_data(content); 

indexer.set_document(doc); 

indexer.index_text(content); 

//Add Document to db 

db.add_document(doc); 

//Flush to disk 

db.commit(); 

} 

catch(const Xapian::Error &e) 

{ 

cout << e.get_description() << endl; 

} 

return 0; 

}

源代码：查询时候获取拼写纠正结果

#include <xapian.h> 
#include <iostream> 
using namespace std; 
#define INDEX_PATH "./index_data" 
#define WORD "兰球" 
int main() 
{ 

try

{ 

//Query 

string word(WORD); 

//Open an Database for read 

Xapian::Database db(string(INDEX_PATH)); 

//Ask for spelling suggestion 

cout << "Spelling suggestion for " << word << " is " << db.get_spelling_suggestion(string(word)) << endl; 

} 

catch(const Xapian::Error &e) 

{ 

cout << e.get_description() << endl; 

} 

return 0; 

}