day74-ElasticSearch-分词- 自定义扩展词库

es中文分词器安装包 在搜索引擎领域,比较成熟和流行的,就是ik分词器,其实我们用来进行搜索的,绝大多数,都是中文应用,很少做英文的 standard:没有办法对中文进行合理分词的,只是将每个中文字符一个一个的切割开来,其实搜索的时候意义不大... 立即下载

别人的文章链接,全一点

1.为了nginx容器配置,执行如下代码,若没有nginx容器会从远程拉取

docker run -p 80:80 --name nginx \
-v /mydata/nginx/html:/usr/share/nginx/html  \
-v /mydata/nginx/logs:/var/log/nginx \
-v /mydata/nginx/conf/:/etc//nginx \
-d nginx:1.10 POST _analyze

2.如下内存不太够,调大点

virtualbox上调整下

 3.访问http://192.168.56.10/出现如下说明nginx配置迁移成功

4.在nginx的html文件夹下添加index.html并添加 <h1>gulimall</h1> 再次访问会出现如下

 5.添加自定义分词文件

[root@localhost html]# mkdir es
[root@localhost html]# ls
es  index.html
[root@localhost html]# cd es
[root@localhost es]# ls
[root@localhost es]# vi fenci.txt
尚硅谷
乔碧萝

~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~

我在输入中文的时候乱码了,所以在CRT中先调整了编码格式

6.修改配置上面自定义配置生效 

[root@localhost elasticsearch]# ls
config  data  plugins
[root@localhost elasticsearch]# cd plugins/
[root@localhost plugins]# ls
ik
[root@localhost plugins]# cd ik
[root@localhost ik]# ls
commons-codec-1.9.jar    config                               httpclient-4.5.2.jar  plugin-descriptor.properties
commons-logging-1.2.jar  elasticsearch-analysis-ik-7.4.2.jar  httpcore-4.4.4.jar    plugin-security.policy
[root@localhost ik]# cd config/
[root@localhost config]# ls
extra_main.dic         extra_single_word_full.dic      extra_stopword.dic  main.dic         quantifier.dic  suffix.dic
extra_single_word.dic  extra_single_word_low_freq.dic  IKAnalyzer.cfg.xml  preposition.dic  stopword.dic    surname.dic
[root@localhost config]# vi IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict"></entry>
         <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords"></entry>
        <!--用户可以在这里配置远程扩展字典 -->
         <entry key="remote_ext_dict">http://192.168.56.10/es/fenci.txt</entry>
        <!--用户可以在这里配置远程扩展停止词字典-->
        <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
~
~
~

7.重启es并设置自启动

[root@localhost config]# cd /
[root@localhost /]# docker start elasticsearch
elasticsearch
[root@localhost /]# docker update elasticsearch --restart=always

8.测试,发现我们新添加的俩词汇:乔碧萝,尚硅谷生效了,成功分词

分布式搜索 elasticsearch 方案研究 - Java API 分布式搜索 elasticsearch 方案研究 - Java API分布式搜索 elasticsearch 方案研究 - Java API 立即下载

相关推荐

Outlook总是提示登录微软,怎么办?

Outlook 2021反复弹出Microsoft登录窗口,可能是由于Modern Authentication身份验证机制或凭据问题导致。解决方案包括:1)通过注册表关闭Modern Authentication(适用于本地Exchange);2)清理Windows凭据管理器中的旧认证信息;3)手动配置Exchange服务器地址;4)通过注册表阻止Microsoft登录窗口弹出(适用于非M365环境)。建议按顺序尝试,尤其前两步通常能解决问题。经测试,步骤1和2已有效解决该问题。

剪刀石头布 4671

Elasticsearch 入门到高手的成长阶梯-Elasticsearch集成中文分词IK

​​​​​​1、IK的介绍 Elasticsearch IK分析器插件是国内非常著名的开源中文分析器插件,它是基于国人所开发的另一款基于Luence 的IK分词器做的扩展,以达到对Elasticsearch的支持。Elasticsearch IK分词器是Java语言编写的,在Elasticsearch 0.16的时候就已经开始对其支持了,涵盖了Elasticsearch后续各版本的支持。 它包...

冯立彬的博客 1252

Masta调用Geometry Modeller(Space Claim)进行根据三维模型快速建模设置方法

masta中调用ANSYS的space claim的设置方法

xifegnlie的博客 244

Elasticsearch 分词器详解(热更新词库)

【代码】Elasticsearch 分词器详解(热更新词库)

qq_34125999的博客 1989

一个响应ping包延迟偏大的问题

前段时间客户反馈一个使用pc上的命令行ping无线设备(WiFi4)时,设备平均响应时间(测试时长2小时,1秒Ping一次)相比其它机型偏慢的问题,并上传上具体的时间的Log.从log中看到,大多数包的响应还是比较快的,只是个别响应时间较长,且响应时间长的包时间几乎都是一样的100多ms.如下是部分响应时间截图. 整个2小时的测试时间里,总是时不时的出这么上102,104ms的响应时间,这直接导致了平均响应时间被拉大.于是本地测试,也发现了类似的延迟.本地测试时,现象略有...

流风回雪的博客 1万+

5-DOF机械臂课程设计(一)之正逆运动学

文章目录基本要求基本概念关节坐标系的建立正运动学求解DH参数表的建立逆运动学求解多解下解的选取源码下载后续 基本要求 ​ 开发上位机程序,要求有良好的界面,能提供关节空间下和笛卡尔坐 标下表示的目标位姿点和中间若干经过点的输入功能,进行轨迹规划, 并控制机械臂沿轨迹运动,最终完成目标抓取的任务。 基本概念 连杆长度 :2个相邻关节轴线之间的距离 连杆扭角 :2个相邻关节轴线之间的角度 连杆偏距 :2个关节坐标系的X轴之间的距离 关节角度 :关节变量 计算时需要加初始角度偏移 关节坐标系的建立 ​ 根据《机

Rosen的博客 5858

es、kibana及分词器的安装

又称反向索引,分为两部分:文档列表和倒排索引区。

小丁的博客 2132

机器学习——笔记整理(原理、python代码)——反反复复,出精活!

回顾知识,检查自我,开拓新域。 机器学习1.监督学习 机器学习简介: 机器学习是实现人工智能的手段,其主要研究内容是如何利用数据或经验进行学习,改善具体算法的性能。 多领域交叉,涉及概率论、统计学,算法复杂度理论等多门学科 广泛应用于网络搜索、垃圾邮件过滤、推荐系统、广告投放、信用评价、欺诈检测、股票交易和医疗诊断等应用。 机器学习分类: 机器学习一般分为下面几种类别 监督学习 ( Supervised Learning) 无监督学习 ( Unsupervised Learning) 强化学习(

weixin_45666566的博客 6487

Elasticsearch 7 在Windows上的IK词库配置

如图所示这是已经编译好的IK插件。 找到config ==>IKAnalyzer.cfg.xml 将.dic文件放入config文件夹之中,再填入标签之中 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties....

提高技术、增加知识储备是核心竞争力 282

ncode控件使用总结

数据格式txt转s3t #HEADER #TITLES Absolute_Time,COG_Ax,COG_Ay,COG_Az,LF_SPINDLE_AZ #UNITS ,g,g,g,g, #DATATYPES Double,Float,Float,Float,Float #DATA 2. 导入s3t数据 3. 输入数据控件 直接拖入数据源或者添加控件数据 4.

技术联盟 2006

多目标优化AI Agent:增强LLM的复杂决策能力

在人工智能领域,尤其是自然语言处理(NLP)和大语言模型(LLM)的应用中,决策问题往往涉及多个目标的平衡与优化。例如,在智能客服系统中,既要提高客户满意度,又要降低运营成本;在自动驾驶中,既要确保安全,又要追求行驶效率。传统的单目标优化方法难以满足这种复杂场景的需求,因此多目标优化成为了一种必然趋势。AI Agent是一种智能系统,能够通过感知环境、处理信息并采取行动来实现特定目标。它可以是一个软件程序,也可以是一个物理设备。NSGA-II:一种基于群体的多目标优化算法,通过遗传算法的思想进行迭代优化。

AI天才研究院 1300

elasticSearch Ik 分词器部署及热更新

先安装好 elasticSearch 登录linux 进入home目录: cd home 下载:wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz 解压: tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz 修改文件夹名字:mv elasticsearch-7.15.2-linux-x86_64 elasticse

LLH 1962

Kafka 性能优化与常见问题排查

Kafka 的高性能依赖于合理的集群设计、参数优化与高效的监控体系。生产环境中,应重点关注I/O 瓶颈、分区规划、Producer/Consumer 参数调优,并通过监控与排查手段快速定位问题,从而保障 Kafka 在实时场景下的稳定运行。

X2829352498的博客 235

elasticsearch 的分词器的介绍和使用

什么是分词器 我们上一篇文章讲过倒排索引,比如我们搜 明月 ,可能会根据倒排索引 查到静夜思 这篇古诗,对吧,这里面的明月 低头 月光 ,就是分词器给我们分的词,我的理解就是,我们通过分词器给某篇文章打上了分词的tag ,然后根据tag 可以找到对应的标题,比如 新手机 华为,如果没有分词的话,我们查找 新手机华为 可能 华为新手机 就不会被搜索到,因为顺序的问题。 分词器的组成 character filter(字符过滤器) 在对一段文本分词之前,要先清洗一遍原始数据吧,比如html标签,什么加黑加粗

qq_39962403的博客 677

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Elasticsearch【7】07:ES中文分词插件(es-ik)安装部署

一、ES中文分词插件(es-ik) 在中文数据检索场景中,为了提供更好的检索效果,需要在ES中集成中文分词器,因为ES默认是按照英文的分词规则进行分词的,基本上可以认为是单字分词,对中文分词效果不理想。 ES之前是没有提供中文分词器的,现在官方也提供了一些,但是在中文分词领域,IK分词器是不可撼动的,所以在这里我们主要讲一下如何在ES中集成IK这个中文分词器。 1、下载 首先下载es-ik插件,需要到github上下载。 https://github.com/medcl/elasticsearch-anal

weixin_40612128的博客 1万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

elk笔记14--ik分词器

elk笔记14--ik分词器1 ik 分词器的安装2 ik 分词器基础知识3 ik 分词配置文件及自定义词库4 修改IK分词期源码来基于mysql热更新词库说明 1 ik 分词器的安装 2 ik 分词器基础知识 包括两种analyzer: ik_max_word和ik_smart; ik_max_word: 分词较细,会将文本做最细粒度的拆分,尽可能穷举出所有的term ; ik_max_word: 分词比较智能,做最粗粒度的拆分,避免过多的拆分; 两种分词器使用的最佳实践是:索引时用ik_max_word

脚步不能达到的地方,眼光可以达到;眼光不能达到的地方,精神可以飞到 526

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

ElasticSearch 6.x 学习笔记:4.IK分词器插件

4.1 elasticsearch-analysis-ik 6.1.1 (1)源码 https://github.com/medcl/elasticsearch-analysis-ik (2)releases https://github.com/medcl/elasticsearch-analysis-ik/releases (3)复制zip地址 https://github...

程裕强的专栏 1万+

ElasticSearch 复习(一)

使用 Docker 安装 ES+ES_head+Kibana 注:对于以下的容器配置修改可以使用挂载的方式,这样下次生成容器就不用了重新配置一遍,或者用修改后的容器生成新的镜像也是可以的。 环境: elasticsearch:7.6.1 elasticsearch_head : 5 kibana : 7.6.1 注:ES 要和 Kibana 的版本对应! 如使用服务器要先行开放端口 9200、9300:es ,9100:es_head ,5601:kibana 1、先行使用 Docker Pull

qq_42712392的博客 480

ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询

ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询专属词汇分词失败扩展字典查看当前词库自定义词典更新配置再次查看分词text全文类型数据分词聚合新建索引插入数据聚合查询 专属词汇分词失败 前面我们已经知道了IK分词器已经可以很好的为中文的text全文类型数据分词,但是有一些特定行业的特定专属词汇,IK分词器却不能按照我们的设想来分词,例如 人名/书名/...

灵动的艺术的博客 1936

Elasticsearch搜索引擎第三篇-ES集成IKAnalyzer中文分词器

文章目录获取ES-IKAnalyzer插件安装插件扩展词库Kibana测试创建一个索引创建一个映射mapping提交一些索引数据搜索 在Lucene和Solr中讲到,集成中文分词器是相对比较麻烦的,需要我们自定义类并打成对应的jar包,在Elasticsearch中,我们不需要这么麻烦,因为已经有现成的插件可以使用。 获取ES-IKAnalyzer插件 下载地址:https://github.co...

supermao1013的专栏 4731

elasticsearch及相关插件安装

elasticsearch相关安装 elasticsearch安装 下载es包 新建用户 groupadd es useradd es -g es -p xxx chown -R es:es 你的es目录 su es 如果出现用户创建不成功 mkdir /home/es cp /etc/skel/.bash_logout /home/es/...

尹忠政的博客 1830

常规操作elasticSearch分词和ik安装分词器以及配置

常规操作elasticSearch分词和安装分词器 分词: POST _analyze { "analyzer": "standard", "text": "Today is what sunny." } { "tokens" : [ { "token" : "today", "start_offset" : 0, "end_offset" : 5, "type" : "<ALPHANUM>", "positio

Phor的博客 1156

2021-04-02

elasticsearch 6.8.12版本安装elasticsearch-analysis-ik插件报: Caused by: java.nio.file.NoSuchFileException: D:\elasticsearch-6.8.12\plugins\commons-codec-1.9.jar\plugin-descriptor.properties错误 解决方法:解压elasticsearch-analysis-ik6.8.12.zip到/plugins/analysis-ik文件夹下,ana

qq_40088575的博客 359

elasticSearch 安装ik分词器报错

提示细节: 1、 分词器版本和elasticSearch 一致 2、解压完压缩包后要最把压缩包删除,同一目录下会报错 错误描述: java.lang.IllegalStateException: Could not load plugin descriptor for plugin directory [commons-codec-1.9.jar] Likely root cause: java.nio.file.NoSuchFileException: D:\Environment\ElasticSer

weixin_46308685的博客 2771

【ES从入门到实战】二十三、全文检索-ElasticSearch-分词-自定义扩展词库

3)、自定义词库 ik 分词器默认的分词并不能满足我们的需求,对于一些新的网络用语,ik 分词器就会无法准确的进行分词识别,比如: POST _analyze { "analyzer": "ik_max_word", "text": "乔碧萝殿下" } 分词之后显示为如下,可以看到 ik 分词器无法识别出“乔碧萝”是一个人名: 所以,需要进行自定义拓展词库。 要自定义拓展词库,可以修改 ik 分词器的配置文件,指定一个远程词库,让 ik 分词器向远程发送请求,要到一些最新的单词,这样最新的单词就

runewbie的博客 1086

es自建搜索词库_elasticsearch实现中文分词+远程自定义词库(nginx)

中文分词elasticsearch本身自带的中文分词,就是单纯把中文一个字一个字的分开,根本没有词汇的概念。但是实际应用中,用户都是以词汇为条件,进行查询匹配的,如果能够把文章以词汇为单位切分开,那么与用户的查询条件能够更贴切的匹配上,查询速度也更加快速。分词器下载网址:https://github.com/medcl/elasticsearch-analysis-ik安装下载好的zip包,请解压...

weixin_39844901的博客 814
上一篇: day73-ElasticSearch-分词-分词&安装ik分词
下一篇: day75-ElasticSearch-整合-SpringBoot整合high-level-client
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我才是真的封不觉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值