相生昌专栏

文本切词是中文信息处理的基础，除了英文以外大多和语言如中文、韩文、日文都是需要切词的。由于不同的编码形式给我们的切词带来了不便，ANS码是一个字符一个字符，而GB2312等都是两个字节表示一个字符。一般一个字符是否是多字节编码可以通过最高位来判断，如果最高位是0则是ANS码，否则多字节编码。通常人们进行切词都是将待切分文本转换成Unicode再进行切分，在实际中我经过实验这种方法其实不是很好，效率

全文检索系统中如果每天处理至少10多万条的文本数据，那么如何对这些新增加的数据进行增量索引并进行有效地管理是整个系统的关键。通过采用联合表或者并行表的方式来管理这些数据，但是每一个并行表的粒度应该设多大，设多少个子表或者并并行表都需要系统的应用规模来定。如果并行表的粒度过大，即使是在索引过程中采用的是拉链索引的方式来组织索引数据，也是需要大量的索引数据的遍历，若不是拉链更需要索引数据的大量移动来进

发表者：吴军，Google 研究员 [我们已经谈过了如何自动下载网页、如何建立索引、如何衡量网页的质量(Page Rank)。我们今天谈谈如何确定一个网页和某个查询的相关性。了解了这四个方面，一个有一定编程基础的读者应该可以写一个简单的搜索引擎了，比如为您所在的学校或院系建立一个小的搜索引擎。]我们还是看上回的例子，查找关于“原子能的应用”的网页。我们第一步是在索引中找到包含这三个词的网页（详见关