coreseek 性能测试(sphinx)

coreseek(sphinx + 中文分词) Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景,用户可以免费下载使用;同时针对有实际需要的客户,我们还提供专业的搜索技术与本地化的Sphinx技术支持服务(客户中,记录量最大已超过30亿条,文本容量最大已超过5TB)。 立即下载

测试数据:姓名与地址数据,姓名与地址设field

索引方式:通过python源读取文件生成索引

api接口: php

测试说明: 用python调用url访问php进行搜索(串行,间隔0.05s),php接口记录下搜索用时,搜索词是网上随便找的人名与地址,offset统一为0,limit为12

                    匹配模式默认为SPH_MATCH_ALL,搜索结果为空时进行SPH_MATCH_ANY搜索

测试机器:CPU Intel(R) Xeon(R) E5405  @ 8核 2.00GHz ,8GB内存,centos 5.6   64位系统

测试结果:



      本来要测一个五千万的,不过文件实在太大,出了一些错误,生成时间太长了,就先不测了。

      

      做这个测试是因为在做视频站(http://www.yingcui123.cn/)的时候搜索慢了,虽然视频资源量还不到两千万,但是服务器不如测试的机器好。经过测试,发现,搜索服务平时虽然不怎么占用内存,但是突发内存占用还是比较大的。视频站由于服务器内存过小,导致搜索速度慢,加大内存后就正常了。



百万测试 MySql数据库 用户表(伪数据),如有巧合 纯属娱乐 user_info_demo.sql 本表 给予 自动生成插件 产生的 随机数据 完成相应的数据表生成 原用于数据量测试访问 进行压力测试使用 但是网上资源没有找到相应提供的 所以自己 找到相应的提供生成器 进行修改 并 进行的 SQL文件 生成 插入到数据库中 每次只能生成 5000调数据 100W条数据 纯手动 插入到数据库中 希望能够帮到 有需要的小伙伴 立即下载

相关推荐

NXP S32K3 Safety软件生态全解析:RTD、SPD、SAF、SCST到底怎么选?

本文深入解析NXP S32K3系列MCU的安全软件生态,详细对比RTD、SPD、SAF和SCST四大组件的功能定位与选型策略。针对不同ASIL等级需求,提供从架构设计到工程实践的完整解决方案,帮助开发者高效实现功能安全认证,优化汽车电子系统的安全性与可靠性。

weixin_42524226的博客 324

实战:MySQL Sending data导致查询很慢的问题详细分析

这两天帮忙定位一个mysql查询很慢的问题,定位过程综合各种方法、理论、工具,很有代表性,分享给大家作为新年礼物:) 【问题现象】 使用sphinx支持倒排索引,但sphinx从mysql查询源数据的时候,查询的记录数才几万条,但查询的速度非常慢,大概要4~5分钟左右 【处理过程】 1)explain 首先怀疑索引没有建好,于是使用explain查看查询计划,结果如下:

华仔-技术博客 11万+

Petalinux 2021.2 下 Qt组件编译报错?手把手教你修改bb文件搞定qt3d/qtquickcontrols2

本文详细解析了Petalinux 2021.2环境下Qt组件(如qt3d、qtquickcontrols2)编译报错的解决方案。通过修改bb文件或使用bbappend文件覆盖,有效解决`petalinux-build --sdk`命令执行时的源码获取失败或哈希校验不匹配问题,并提供验证与调试技巧,帮助开发者快速修复构建流程中断问题。

weixin_29188997的博客 216

一看就懂系列之 亿万级项目都在用的sphinx

一看就懂系列之 亿万级项目都在用的sphinx

咖啡色的羊驼 3563

Rsoft仿真实战:长周期光纤光栅参数优化与模式耦合分析

本文详细介绍了使用Rsoft软件进行长周期光纤光栅(LPFG)参数优化与模式耦合分析的实战方法。通过Rsoft仿真,可以高效优化光栅周期、包层厚度等关键参数,深入分析纤芯模与包层模的耦合特性,为光纤通信和传感应用提供可靠的设计依据。

h0i1j2k3l的博客 1115

H3C IPsec over GRE VPN 实验

配置 IPsec over GRE VPN 来连通两端内网

M建的博客 2483

coreseek 大数据联表建立索引速度慢的解决办法

如果是大数据联表查询,比如一百多万联十几万 索引有时候建立会特别慢 解决办法就是用 sql_query_range = SELECT MIN(id),MAX(id) FROM xxx sql_range_step = 3000 sql_query = SELECT xxx FROM a inner join b a.id=b.id where a.id>=$start and a

ksr12333的专栏 1620

VSCode 搭建C/C++编程环境 2025新版图文安装教程(VSCode安装 + C/C++环境搭建 + 运行测试 + 背景图设置)

100%搭建成功,VSCode 搭建C++编程环境 2025新版图文安装教程(VSCode安装+C++环境搭建+运行测试+背景图设置)

Code_流苏:在代码中寻诗意,在实践中觅真知 2975

sphinx内存溢出问题(out of memory)

sphinx默认的存储临时查询信息是在电脑内存中,只需修改配置文件,设置存贮位置为电脑硬盘

weixin_38983929的博客 1134

从零到一,打造你的无人机侦察兵!树莓派+Python+MQTT,实时目标检测全攻略

物联网、人工智能与计算机视觉三大前沿技术的深度融合。

u013558123的博客 1476

如何卸载Gazebo与重装

gazebo是一款关于车辆和无人机的仿真软件,本文大致介绍它是何物,以及他的安装和卸载方法,对于ROS开发者,本文有一定参考意义。

gongdiwudu的专栏 1万+

sphinx+python 索引耗内存

搜索一直用的是coreseek,数据源方面用的是python,以前数据量少的时候没问题,数据量一大,用python建索引就出现问题。未做优化前,python建索引的过程的第一步就是先捞出所有的数据放内存,这也是官网文档的做法,数据量一大,必然导致占用内存过大,导致进程终止或者服务器负载过高。实际数据:200W,在执行python数据源时,内存达到2g以上。优化后的数据:内存维持在427M,没有继续...

youngerblue 317

YOLO11涨点优化:SPPF原创自研创新 | SPPF创新结构,重新设计全局平均池化层和全局最大池化层,增强全局视角信息和不同尺度大小的特征

SPPF_improve利用全局平均池化层和全局最大池化层,加入一些全局背景信息和边缘信息,从而获取全局视角信息并减轻不同尺度大小所带来的影响

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 1870

最后还是使用了sphinx-for-chinese

原因主要还是性能. 重建索引的速度非常快, 大概在四五分钟内, 用xunsearch的话大概要四五倍的时间. 今天刚刚上线, 对于缺少复合分词带来的影响, 还需要等待一段时间观察用户的反馈. 在编写调用Sphinx的php脚本中, 遇到的主要问题就是index参数, 从这几天的总结看, 除了Query()方法可以同时用多个索引外, 其他的都必须是单个索引, 不能同时使用main+delta. ...

weixin_34362875的博客 233

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

关于sphinx+PHP在高并发时响应性能低下的解决办法

经过多次压力测试,发现sphinx在高并发时出现负载突然提升,并且响应速度明显下降。经过多方面的排查,发现是由于PHP与sphinx自带的 searchd进行socket的连接之后,系统内存有大量的Time_Wait连接,所以我们猜测为searchd的socket连接未及时关闭,造成 大量请求堆积,使得PHP客户端与sphinx的请求效率低下。由于searchd是编译好的,无法进行OPT设置,故我...

weixin_30514745的博客 185

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

JMeter插件实战指南:提升性能测试效率的核心工具与技巧

性能测试是确保软件系统稳定性和可扩展性的关键环节,其核心在于模拟真实用户负载并精准度量系统行为。Apache JMeter作为广泛使用的开源负载测试工具,通过其强大的插件生态,极大地扩展了原生功能,解决了复杂场景模拟、实时监控与深度分析等工程实践难题。插件管理器(JMeter Plugins Manager)革新了插件的安装与管理方式,使得诸如Transactions per Second、Concurrency Thread Group等高效能插件得以便捷集成。这些插件在实现阶梯加压、实时TPS监控、动态

djph26741的博客 500

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

sphinx搜索引擎优化及测试

sphinx搜索引擎优化及测试

Thinking -Walking@未名 3806

Centos下基于sphinx的开源搜索引擎coreseek的安装 及 sphinx常见报错及解决办法

coreseek是一款基于sphinx开源的搜索引擎,因为sphinx只支持英文和俄文(即只能进行英文分词和俄文分词),所以如果要使用sphinx做中文搜索的话,需要自己独立去导入中文词库。而coreseek里集成了中文词库模块mmseg,所以直接使用coreseek会方便很多。Coreseek目前的最新版是coreseek4.1版本,2011年发布的,是基于Sphinx2.0.2的,早先有一个版本coreseek3.2.14版,2010年发布的,其中的Sphinx是0.9.9版。

本博客记录了从2014年以来在工作学习中遇到的技术问题、解决方法以及部分个人人生经历、经验等内容。 1537

coreseek mysql_coreseek (sphinx)+ Mysql + Thinkphp搭建中文搜索引擎详解

一, 前言1,研究coreseek的动机我有一个自己的笔记博客,经常在上面做一些技术文章分析。在查询一些文章的时候,以前只能将要查询的内容去mysql中用like模糊匹配。在文章多了的情况下,这样做法效率肯定不行。于是我把目标投向了中文搜索插件coreseek,并成功的把它使用到了我的项目当中。效果图:希望通过这篇分析,让有兴趣的同学少走些弯路。2,概念介绍sphinx是开源的搜索引擎,它支持英文...

weixin_35519827的博客 290

coreseek(sphinx)全文检索

coreseek是基于sphinx全文检索引擎的,与sphinx相比就是支持中文分词。 在搜索这块有挺不错的性能,亲测50多万的数据,用coreseek的搜索方案比原始mysql的like查询性能提高10倍左右。 一、安装(前提安装好LAMP) 1、下载解压coreseek tar -zxvf coreseek-3.2.14.tar.gz 2、先安装mmseg中文分词 cd co...

mlx212的专栏 1664

coreseek3.2.14(sphinx)搜索引擎的安装及简单配置

转自 http://blog.youkuaiyun.com/qq157962718/article/details/50985562 做了部分修改 架构使用图例 优势 数据库搜索,如果搜索范围包括全部正文数据,往往性能很低,用户响应时间长(分钟级,经常超时);而全文检索可以在0.X秒(毫秒级)的时间内将结果反馈给用户。数据库搜索,一个用户在搜索,往往会影响其他用户对应用系统进行操作

qq_35118483的博客 3721

sphinx 占用大量内存

http://www.coreseek.com/forum/2_1847_0.html(转) 刚开始没改下面2句时,内存占用比较多,在生成index的时候就占用了! 下面是解决方法: 每个索引中写上 docinfo = inline; #前提是source配置中不能有attr_string.....不能有字符串属性字段 ondisk_dict = 1; 这样就把索引放...

weixin_30483013的博客 662

coreseek常见错误原因及解决方法

个人标注:安装coreseek请参考官网:http://www.coreseek.cn/products-install/install_on_bsd_linux/。 一些必须装的gcc,g++等,也可网上查查。 Coreseek 中文全文检索引擎 Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于...

weixin_34198762的博客 404
上一篇: coreseek安装笔记
下一篇: 用Hexo搭建个人博客
AstrayLinux
博客等级 码龄15年 55粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值