横瓜索引分词速度与LUCENE及sphinx 实际测试比较-普通PC单机(内存2G)

普通PC单机（内存2G）实际测试：

横瓜索引数据的速度为：200条记录/秒（每条记录约为2000字），包含分词处理过程和索引过程一并进行，500万记录（每条记录约为2000个中文字）的数据量，

可在6小时内建立成搜索。最终生成的索引文件在15G左右，基本等同于LUCENE的15G索引文件的规模。

索引吞吐量=每秒索引处理的数据（记录量*记录里被索引的字数）

很多人张口就用亿级数据来衡量搜索，每条记录就10个字的，那还不如百万级数据量的规模。不懂搜索的人用MB/秒来衡量，那是错误的，因为索引速度必须结合实际数据来测试。

本人估算同条件下LUCENE索引速度是横瓜的1/10，sphinx索引数据速度将接近横瓜的索引速度。

对于遥执乾坤 QQ 44758121提出的看法如下：

横瓜(601069289) 18:03:57
横瓜创建索引的速度为:200条记录/秒.一条记录为2000字,包含分词处理过程和处理索引过程一并进行.

LUCENE和sphinx索引数据速度有测试过的吗?1秒能处理多少记录,一条记录为2000字
遥执乾坤(44758121) 18:16:07
:200条记录/秒. 速度太慢了。。。2w条还差不多。

我们假定遥执乾坤是正确的：那么500万记录（每条记录约为2000个中文字）的数据量，用sphinx就是4分钟可以建立成搜索，那可能吗？很明显是不可能的！这是违背客观规律的！4分钟用sphinx生成15G索引文件的规模，那可能吗？绝对不可能！

在这之前我了解过GOOGLE谷歌2006年的单机索引速度是40-80个网页/秒。