elasticsearch遇到的问题(一) 底层修改同义词典synonyms.txt未生效,将同义词加到分词器也未生效

elasticsearch使用问题记录(一) 底层修改同义词典synonyms.txt未生效 众所周知,es自带有同义词典功能,只需要在创建mappings的时候,指定同义词分词器地址,即可让底层同义词生效使用,简单快捷。下面说一说简单快捷背后隐藏的问题 一、创建同义词分词器 以下为创建一个简单的es索引,字段名是text,分别使用到了停用词典和同义词典,底层使用ik分词 PUT news { "mappings": { "news": { "properties": { "text": { "type": "text", 阅读详情

1、上传更新ik分词库,同名词库,更新上传同义词

理解错热更新的意思以为不需要重启,没有重启整个集群,导致没有生效。

https://help.aliyun.com/document_detail/137928.html?spm=5176.21213303.J_6028563670.7.4fe63edaBTmKOj&scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%40137928.S_hot.ID_137928-RL_%E7%83%AD%E6%9B%B4%E6%96%B0-OR_s%2Bhelpproduct-V_1-P0_0

2、什么是同义词,同义词配置

https://help.aliyun.com/document_detail/159202.html?spm=a2c4g.11186623.6.616.78a73380kMEoEM

3、同义词未生效(待补充)

原因一:同义词在ik层分词,并没有分出来

比如:“北大” 和 “北京大学” 是同义词,“北大” 并不在ik的强词典中(所以需要更新分词库的词典)。导致检索“北大” 的时候,分词成了“北”、“大”,并没有命中配置同义词(当然也是可以检索出“北京大学”相关数据的),导致es计算tfidf的时候出现偏差(影响排序和高亮显示)。

解决1:在ik底层添加“北大”、“北京大学”作为强词典,重启es集群,reindex

解决2:同义词放在检索的上一层,即检索“北大”时,同时检索“北京大学”

原文链接:https://blog.youkuaiyun.com/Misaki_root/article/details/108317200

 

 

 

Elasticsearch同义词自定义词库未生效原因 【代码】Elasticsearch同义词自定义词库未生效原因。 阅读详情

相关推荐

Elasticsearch 8.11与IK分词器安装配置实战

全文搜索引擎Elasticsearch通过倒排索引实现高效检索,其核心原理是将文档内容分词后建立词项与文档的映射关系。中文分词作为NLP基础技术,直接影响搜索质量,IK分词器通过词典匹配和算法优化提供精准的中文分词能力。在搜索服务架构中,Elasticsearch结合IK分词器可显著提升中文场景下的召回率和准确率。本文以Elasticsearch 8.11和IK分词器为例,详细讲解环境准备、安全配置、内存调优等工程实践要点,并针对版本兼容性、热更新词典等高频问题提供解决方案,帮助开发者快速搭建高性能中文搜索

weixin_33736048的博客 411

全文索引同义词搜索没作用的问题

--显示版本信息SELECT @@VERSION;GOCREATE TABLE FullText_Test(  ID int IDENTITY(1,1),  DATA nvarchar(max),  --如果这里使用varchar(max),下面的插入也不带N,那CONTAINS得不到任何记录  CONSTRAINT PK_ID_FullText_Test       PRIMARY KEY(

2209

Elasticsearch IK 分词器 8.x 集群部署:3节点配置同步与热更新实战

本文详细介绍了Elasticsearch IK 分词器 8.x 在3节点集群中的部署与配置同步实战,包括版本兼容性检查、多节点插件分发、配置文件同步策略以及词典热更新实现。通过NFS共享存储和HTTP接口动态加载,确保集群配置一致性和高效分词性能,适用于中文搜索场景。

anchang7456的博客 421

php 同义词词库,同义词搜索功能 - 权威指南 - 迅搜(xunsearch) - 开源免费中文全文搜索引擎...

同义词搜索人类语言文化丰富,同一个意思有无数种不同的表达方式。因此,同义词是全文检索中非常重要和必要的一项基础功能。从 1.3.0 版本起,Xunsearch开始提供同义搜索搜索功能。1. 什么是同义词搜索为了更好的提升用户搜索体验,我们希望用户在搜索“浙江大学”的时候也同时匹配包含缩写“浙大”的结果,这就是所谓的同义词搜索。通常我们说“浙大”是“浙江大学”的同义词,前者是常用缩写,后者是标准词(...

weixin_34193979的博客 825

15分钟用Docker部署Elasticsearch实现生产级中文搜索

Elasticsearch是一种基于倒排索引的分布式搜索与分析引擎,区别于传统数据库的LIKE模糊匹配,它通过分词、相关性打分和倒排索引机制实现毫秒级全文检索。其核心价值在于支撑高并发、低延迟、语义理解的搜索场景,广泛应用于电商商品搜索、日志分析、内容平台站内搜索等工程实践。本文聚焦真实落地路径:基于Docker快速启动ES 8.x单节点集群,集成ik_smart中文分词器,配置同义词扩展与拼音搜索能力,并通过function_score定制业务相关性排序——所有步骤均源自SaaS项目中验证过的最小可行方案

weixin_30628077的博客 377

OpenClaw企业级知识中枢:1Panel部署+飞书机器人集成实战

企业知识管理面临的核心挑战是搜索不准、触达低效、运维脆弱与反馈缺失。RAG系统要真正落地,不能只关注大模型或向量检索,而需构建端到端的工程化闭环——从确定性部署(如1Panel封装Docker编排与健康检查)、上下文感知的交互入口(如飞书机器人支持会话式追问与权限穿透),到结构化解析、语义增强与行为驱动的搜索调优。本文围绕OpenClaw这一面向中大型团队的企业级知识中枢,详解其与1Panel、飞书机器人的深度协同机制,覆盖PDF/Word格式治理、技术术语向量对齐、同义词动态优化等高频痛点,为IT负责人、

weixin_34109408的博客 445

[20120901]关于同义词(Synonyms).txt

[20120901]关于同义词(Synonyms).txt 我第1次知道同义词这个概念,是自己写代码,要访问别的schema的表,前面要加schema,问了当时开发人员才知道要建立同一词。现在想想自己都觉得好笑! 我...

469

synonyms_words.txt

synonyms_words词林

IK如何实现同义词搜索

  转载请声明出处,谢谢。翻译也很辛苦      solr学习交流扣扣群340954928   IK如何实现同义词搜索     如何通过IK实现   <!--[if !supportLists]-->1、  <!--[endif]-->在schema.xml中配置            <fieldType name="text_ik...

老男人 1195

【硬件】通俗易懂的讲解晶体管(三极管和MOS管)的工作原理

晶体管是一个简单的元器件,可用于构建许多有趣的项目。在本文中,我将用通俗易懂的语言给您讲解晶体管的工作原理,以便您可以在电路设计中更好的使用静态管。一旦你学习这些基础知识,对以后的设计和使用来说,将会变得非常容易。我们将重点介绍两种最常见的晶体管:双极型晶体管(三极管)和MOSFET。晶体管的工作原理其实是类似于电子开关。它可以打开和关闭电路。一个简单的思考方法是将晶体管视为无源的继电器。晶体管类似于继电器,从某种意义上说,您可以使用它来打开和关闭某些东西。但晶体管也可以部分导通,一般在放大电路中使用,这部

1万+

TI IWR6843AOP雷达+DCA1000EVM数据采集:官方手册里的坑,我帮你踩完了

本文详细解析了TI IWR6843AOP雷达与DCA1000EVM数据采集实战中的12个关键细节,包括硬件连接陷阱、mmWave Studio隐藏设置、数据采集参数优化等,帮助开发者避开官方手册未提及的常见问题,提升数据采集效率和系统稳定性。

weixin_28366475的博客 1102

ES-同词义配置

语主相近或相同品牌类目关联搜索它等于搜索它增加analysis,处定义分词器修改name的分词器PUT /shop},},},

免费无法个性化定制 1660

告别龟速与断连:Arduino IDE下ESP32及ESP32-CAM一站式环境部署指南

本文提供Arduino IDE下ESP32及ESP32-CAM一站式环境部署指南,解决下载速度慢、断连等常见问题。通过国内镜像源加速、详细步骤讲解和ESP32-CAM专属配置技巧,帮助开发者快速完成环境搭建,避免常见陷阱,提升开发效率。

weixin_30576827的博客 771

Java 中间件:Elasticsearch 分词器自定义(IK 分词扩展词库)

摘要 本文详细介绍了如何在Java项目中为Elasticsearch自定义IK分词器扩展词库,以提升中文搜索的准确性和业务适配性。主要内容包括: IK分词器的必要性 Elasticsearch默认分词器对中文支持不足,IK分词器能更好地处理中文语义 但仍需扩展词库以覆盖新词、专业术语和业务词汇 配置与集成 安装与Elasticsearch版本匹配的IK插件 验证分词效果并集成Java REST Client 扩展词库实践 通过本地词典文件和远程热更新机制添加自定义词汇 动态加载新词以支持实时业务需求 业务价

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

IMU、INS、GNSS与组合导航:从原理到工程实践全解析

在自动驾驶、无人机和机器人等智能系统的定位方案中,IMU、INS、GNSS和组合导航常被混为一谈,但它们在硬件层级、数据特性和误差机制上截然不同。IMU作为惯性测量单元,以百赫兹以上频率输出加速度和角速度;INS基于IMU完成姿态、速度与位置的递推解算,却因积分累积误差而随时间漂移;GNSS提供绝对位置,但易受遮挡和干扰。组合导航通过卡尔曼滤波将两者融合,实现短期不飘、长期不偏的连续定位,这正是高精度导航系统的技术底座。工程落地时,从IMU标定、Allan方差分析到相机/LiDAR与IMU外参标定,再到松耦

weixin_29193259的博客 381

基于Arduino UNO的OLED显示器使用方法x2(Arduino系列五)

Arduino使用OLED显示模块可以实现串口数据显示,还可以与其他模块联合使用,实现实时显示开发板实时数据。

LNN0212的博客 4171

Elasticsearch中文搜索优化:IK分词器原理、安装配置与实战指南

在搜索引擎和文本处理领域,分词是处理自然语言的基础技术,尤其对于中文这类连续书写的语言,分词质量直接影响搜索的准确性和召回率。其核心原理是通过词典匹配算法,将连续的字符序列切分成有意义的词汇单元,从而让计算机能够理解文本的语义结构。这项技术的价值在于显著提升中文文本检索的查准率和查全率,是构建高效搜索引擎、内容推荐系统和知识图谱等应用的关键环节。在Elasticsearch这一广泛使用的搜索和分析引擎中,默认分词器对中文支持有限,因此需要引入专门的中文分词插件。本文聚焦于IK分词器这一主流解决方案,深入讲解

weixin_34277853的博客 369

fanuc机器人KAREL中 函数的应用

本次课程讲解编程的思路。很多的同学都玩过积木,一个一个的模块逐渐累积起来,通过彼此之间的相互联系,最终形成一个完整的整体。其实编程也是这样。 将一个对象根据其特点进行模块化拆分,尤其是一些特点非常相似的内容,将其变成一个模块。然后通过传递参数,实现不同的功能,这就是模块化编程。

haier123888的博客 2744

solr中文同义词检索的配置讲解

1配置同义词首先是要基于中文分词的基础上进行的,如果检索关键词不能够进行中文分词那么是查询不到相关的同义词的(如果solr没有配置同义词,请参考附录进行配置,配置完成后进行后续操作)   2 如果是IKAnalyzer中文分词修改fileType text_ik,如果是mmseg4j中文分词修改fileType text_mmseg4j,添加同义词的filter, ignoreCas

yeluodeshunjian的博客 4974

RK3568平台开发系列讲解(安卓篇)LED呼吸灯系统流程

1.app层封装后使用NotificationManager发出:NotificationManager.notify() 2.Android 系统架构中:一个manager类对应一个aidl接口,一个manager对应一个底层的服务,notification也是这个架构

内核笔记 3646

咨询进阶——解读40页公司战略解码方法【附全文阅读】

战略解码是将企业战略转化为可执行计划的关键过程,强调垂直和水平一致性原则。通过KPI指标设计和目标分解,确保战略在各部门和岗位有效落地。解码过程包括战略澄清、目标牵引、绩效分解和承诺签订,输出战略解码图等文件。不同部门根据责任定位(如利润中心、绩效中心)采用差异化考核方式,实现战略有效执行。

cdfunlove的博客 150

5个实战技巧:如何用Elasticsearch RTF快速搭建中文搜索系统

你是否正在寻找一个开箱即用的Elasticsearch中文发行版,希望快速搭建支持中文搜索的应用?Elasticsearch RTF(Ready To Fly)正是你需要的解决方案!作为专为中文用户优化的Elasticsearch发行版,它集成了众多实用插件,让新手也能快速上手。今天,我将为你详细介绍如何利用Elasticsearch RTF快速搭建完整的中文搜索系统。 ## 为什么选择Elas

gitblog_00323的博客 836

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

采用analysis-dynamic-synonym插件,动态文件的方式同步同义词

1、采用analysis-dynamic-synonym插件,动态文件的方式同步同义词 大致原理 -> 动态文件: 1、采用服务器文件的方式,当服务器文件的内容发生变化时,则会触发自动更新; 2、插件会读取文件的更新时间来判断是否需要进行同义词更新; 下载elasticsearch-7.10.0版本,并解压:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-10-0 下载IK分词器7.10.0版本,并解压到指定文件

一个千万开发人员中的程序员 680

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

elastic search6.2.4配置同义词典synonys

需求:有一个字段item_name,两条数据 出租车 出租汽车 如果使用ik_smart分词,出租车和出租汽车都不会分词 如果使用ik_max_word分词,出租车分为出租车、出租、租车。出租汽车分为出租汽车、出租、汽车。 搜索端使用的分词是ik_smart,而索引使用的分词是ik_max_word。 那当我搜索“出租车”的时候,是搜索不到出租汽车的 当我搜索“出租汽车”的时候,是搜...

u013905744的专栏 2836

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

PostgreSQL - 全文检索的高级配置:分词与权重

PostgreSQL全文检索高级配置摘要 PostgreSQL的全文检索功能通过tsvector和tsquery数据类型实现高效搜索。本文深入探讨了高级配置中的分词策略和权重控制两大核心功能。在分词方面,详细介绍了如何创建自定义分词器、管理同义词字典和停用词列表,以及词干提取技术的应用与局限性处理。权重系统部分解析了四个权重等级的使用方法,并展示了动态权重计算和自定义排名函数的实现技巧。通过Java代码示例,文章演示了如何在真实项目中应用这些高级特性,帮助开发者构建更智能、更精准的搜索系统。这些技术特别适合

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

ElasticSearch核心原理与应用场景全解析

搜索引擎是现代数据处理的核心组件之一,而ElasticSearch作为开源的分布式搜索分析引擎,通过倒排索引技术实现了海量数据的高效检索。其核心原理是将文档内容分词后建立词项到文档的映射关系,使得查询速度不受数据量增长影响。在技术价值层面,ES不仅支持全文搜索,还能通过聚合功能实现实时数据分析,这使其在日志处理、监控报警等场景表现突出。典型应用包括电商平台的商品搜索(支持中文分词、智能纠错)和日志分析系统(如ELK栈)。随着大数据和实时分析需求的增长,掌握ElasticSearch的分布式架构设计和性能优化

weixin_33907511的博客 419
上一篇: ES读写数据的工作原理
下一篇: elasticsearch遇到的问题(二) 慢查询的可能原因
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值