PHP 中文分词及全文检索的实现

最新推荐文章于 2021-04-01 00:58:14 发布
原创 最新推荐文章于 2021-04-01 00:58:14 发布 · 2.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

以前以为这个技术很高难.没敢下手.


搜索了一下网络,有现成的算法,有现成的词库.

我用的是 http://www.phper.org.cn/?post=34 这里的代码实现


再结合MYSQL的全文检索的变通实现

将中文进行编码(方法有多种,区位码,base64)


效率也可以 , 我的实例中,查询时间是0.5秒左右. 暂时可接受

利用phpanalysis中文分词做全文检索
张大帅的程序人生博客
10-12 2555
下载phpanalysis2.0  安装在你项目的第三方插件库中   放在插件目录 放在插件目录 第一步配置分词索引库： public function participle($str){ ini_set('display_errors', 'On'); ini_set('memory_limit', '64M'); error_reporting(E_ALL); re...
Ksearch:thinkphp分词全文检索全文搜素，利用PullWord分词接口。
03-23
thinkphp分词全文检索全文搜素，利用PullWord分词接口。对齐TNTSearch数据库思路。精确匹配结果。 简单调用建议分页查询，每篇长文章，几千句话不是闹着玩的。 安装htmlpurifier $作曲家需要ezyang / htmlpurifier...
php搜索引擎中文分词例子
10-17
说明:本技术用于搜索引擎中文分词 程序使用自建词库,存储15多万(免费版10万左右)词,未压缩词库仅1.13M 程序自动过滤了诸如:█♀♂卍※ 平均每个词查找词库次数为2 使用分词类中的add_word方法可以很轻易扩展词库,稍加扩展可使程序具有学习功能 程序未对RMM和MM分词进行结果组合与筛选
站内搜寻引擎 php mysql_迅搜(xunsearch) - 开源免费中文全文搜索引擎|PHP全文检索|mysql全文检索|站内搜索...
weixin_36418590的博客
02-05 462
热点新闻本软件趋于稳定，版本发布速度放缘，久违了，这次加入支持通过 composer 管理 PHP-SDK，并加入 yii2 扩展支持！非常高兴能在今晚发布 xunsearch-1.4.9 正式稳定版，强烈建议所有用户升级到这个最新稳定版本。[b]主要更新如下：[/b]1. PHP-SDK 添加支持 yii22. PHP-SDK 支持通过 composer 管理，包名为：hightman/xuns...
php中文全文搜索引擎-coreseek
chii
08-06 595
项目需要用到全文搜索引擎，最终选择了coreseek，coreseek是一个基于sphinx的中文全文搜索引擎项目，而单纯的sphinx是不支持中文分词的。 coreseek项目地址：http://www.coreseek.com/    最新版本为3.2.13   选择coreseek的原因很简单： 1、很好的中文分词支持 2、文档支持 3、易于安装和配置 4、负载低、响应迅速 ...
推荐一款PHP可用的中文分词扩展
来自一个小码农的记录
08-08 7450
本文介绍《SCWS中文分词》的安装及使用，主要用于个人记录，如有需要，请访问SCWS官方网站。 使用前准备 首先要准备Linux系统及安装编译好的php，本人使用源码编译安装的php，具体信息如下（可能有些许报错，将就着看吧） 下载安装SCWS软件 1.下载scws源码             wget http://www.xunsearch.com/scws/down/scws-...
PHP 搜索分词
03-30
NULL 博文链接：https://justcoding.iteye.com/blog/1307647
php中文实现分词搜索
最新发布
01-18
例如，Sphinx是一个高性能的全文搜索引擎，它支持中文分词，并且可以与PHP紧密结合，实现快速的搜索功能。 2. 利用第三方API：如果不想自己处理分词，可以借助第三方服务，如百度、阿里云等提供的中文分词API。通过...
php实现的完整中文分词类.zip
07-11
中文分词是将连续的汉字序列切分成有意义的词语单位，是进行文本分析、信息检索、机器翻译等任务的基础步骤。这个"php实现的完整中文分词类.zip"文件提供了一个用于中文分词的PHP类库，可以帮助开发者更方便地处理...
PHP redis实现超迷你全文检索
10-20
本文介绍了一种使用PHP和Redis实现超迷你全文检索的方法，该方法具有实现简单、搜索速度快的优点，但也存在一些缺点，如删除数据的不便。 ### 关键知识点 1. **全文检索原理：** 传统的关系型数据库如MySQL在处理...
最新php中文手册，支持全文搜索，带注释20180901
09-26
最新php中文手册，支持全文搜索20180901 支持全文搜索，比官方提供的好用 带注释评论版
PHP简易中文分词
08-04
PHP简易中文分词，免组件分词 $ca = new cls_analysis(); //把一段短文本进行拆分 $str = "把一段短文本进行拆分"; $ca->SetSource( $str, 'utf-8', 'utf-8'); $ca->StartAnalysis(); $okstr = $ca->GetFinallyResult(' '); //指定分隔用的字符，默认是空格 //从一段长文本里提取出现次数最高的关键字 $str = "输入一段稍为长一点的文本"; $ca->SetSource( $str, 'utf-8', 'utf-8'); $ca->Start
php搜索引擎之分词算法
07-14
本人写的搜索引擎部分抓词，里面含有数据库配置文件，以及本人开发心得。需要的可以下载来看看。采用的是正向最大匹配算法。目前只是分词部分结束。前台是简单的页面。使用了smarty模版分离代码。
快速构建PHP全文检索——马明练
03-04
信息检索，全文检索，IR基础，反向索引，同步机制，批量处理
基于php的Sphinx以及coreseek的全文搜索，中文分词的使用（二）
割le动脉he脉动
07-18 1255
基于php的Sphinx以及coreseek的全文搜索，中文分词的使用（二） 1.续 在上一片文章 基于php的Sphinx以及coreseek的全文搜索，中文分词的使用（一） 中我们介绍了使用sphinx进行全文搜索，然后我们了解到sphinx对中文分词不是太智能，所以接下来我将带着大家一起来安装使用sphinx(coreseek)进行全文搜索中文分词 以下内容请在新环境进行配...
PHP做中文分词技术
PHP网站建设，PHP技术分享
08-06 2133
今天做了个中文分词技术，觉得好用，分享给大家试试好用吗，我用的是ThinkPHP3.2.3框架做的，不知道大家喜欢用这个框架不。 步骤如下： 1：下载scws官方提供的类,地址是讯搜官网的 2：下载XDB 词典文件:这个是词库 放到Public\admin\dict没有就添加 3：解压scws类Pscws.class.php，并加上命名空间（pscws4.class.php
php 扩展分词,一个中文分词的PHP扩展
weixin_34723479的博客
04-01 191
根据版本,下载后在php.ini下extension=php_scws.dllscws.default.charset = gbk/utf8然后phpinfo();你会发现有一栏scsw表示安装成功$sh = scws_open();scws_set_charset($sh, 'utf8');scws_set_dict($sh, 'etc/dict.utf8.xdb');scws_set_rule...
php mysql 全文检索_PHP+MYSQL实现全文检索_MySQL
weixin_33037813的博客
01-28 419
使用分词类库，分词类库请参见：http://www.xunsearch.com/scws/如何使用PHP实现全文检索功能？很多人可能马上可以想出几种方案，比如：文件检索法、采用SQL的like语句等方法，但这些方法效率都相当的低。这里介绍一种比较高效的PHP全文检索实现方法，这就是采用MYSQL的FULLTEXT字段类型。但是MYSQL的FULLTEXT字段对中文的支持不是很好，本文也一并介绍如何...
PHP中文分词工具包：实现精准搜索算法
- **phpcws程序**：一个采用基于统计分词算法的PHP分词工具。 - **词库构建**：提供词汇及其概率或频率，是分词准确性的关键。 - **分词流程**：包括文本预处理、最大匹配、歧义处理、未登录词识别和结果优化。 - **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值