ElasticSearch速学 - IK中文分词器远程字典设置

elasticsearch6.5.4 添加 ik 中文分词器无需重启分词热更新 第一步: 安装elasticsearch6.5.4版本 第二步:下载elasticsearch-ik-6.5.4.zip 例如:https://github.com/medcl/elasticsearch-analysis-ik 拷贝到es的plugins/ik目录下 解压缩, 把elasticsearch-analysis-ik-... 阅读详情

前面已经对”IK中文分词器“有了简单的了解:
这里写图片描述

但是可以发现不是对所有的词都能很好的区分,比如:
这里写图片描述
逼格这个词就没有分出来。

词库

实际上IK分词器也是根据一些词库来进行分词的,我们可以丰富这个词库。
IK分词器(IK Analysis for Elasticsearch)给了我们一个基本的配置:
https://github.com/medcl/elasticsearch-analysis-ik
这里写图片描述

修改我们es实例中ik插件的配置:

cd elasticsearch-5.3.0/plugins/ik/config/

这里写图片描述

main.dic是住词库,stopword是停用词库(把一些错误的分词加入进来,之后不会再被分词了);custom目录中是我们的自定义词库。
这些词库都是本地词库。可以参考配置文档来设置。

热更新 IK 分词使用方法

官方文档:
https://github.com/medcl/elasticsearch-analysis-ik
这里写图片描述

我们来配置一下:

#进入es实例找到ik插件的配置文件
elasticsearch-5.3.0/plugins/ik/config
#编辑配置文件
vi IKAnalyzer.cfg.xml

内容:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic</entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords">custom/ext_stopword.dic</entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <entry key="remote_ext_dict">http://10.211.55.13/myDict.php</entry>
    <!--用户可以在这里配置远程扩展停止词字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

myDict.php:

<?php

header('Last-Modified: '.gmdate('D, d M Y H:i:s', $time).' GMT');
echo "逼格\n";

这里写图片描述

Elasticsearch安装IK分词器、配置自定义分词词库 借助 Elasticseach 的文本分析功能可以轻松将搜索条件进行分词处理,再结合倒排索引实现快速检索。Elasticseach 提供了三种分词方法:单字分词,二分法分词,词库分词。 阅读详情

相关推荐

Ik分词器配置远程扩展字典

通过配置远程扩展词典,可以读取远程词典,当改变远程词典时,不必重启服务器,elasticsearch会自动加载并进行分词。 步骤: 配置文件服务器,把远程扩展词典放到服务器下。 修改elasticsearch目录下plugins\ik\config\IKAnalyzer.cfg.xml文件并保存,如下: <properties> <comment>IK A...

likebutterfly的博客 2294

elasticsearch ik 分词器动态词典

环境准备 docker 安装的 es,并且安装了 ik 分词器 docker 安装的 kibana docker 安装的 nginx 如果以上软件未安装,可以移步以下教程: docker 安装 nginx 代理服务器,并实简单的 html 服务器,和数据卷 docker 安装 es + kibana + ik IK 分词器配置文件 ik 分词器是默认支持远程词典和热跟新的 我们打开 分词器的配置文件,可以看到以下内容 配置文件路径:plugins/ik/config/IKAnalyzer.cfg.

qq_34304427的博客 6853

使用IK中文分词器做敏感词过滤

需求 部分字段(可能为富文本)需要做敏感词过滤,敏感词词库由产品给出。 前置条件 项目使用的spring cloud全家桶,springboot版本2.1.0 ,项目中集成了spring Data elasticsearch 单独为一个子模块被各个服务引用,elasticsearch 插件版本为6.6.2,并且es插件中已经安装ik中文分词器 设计要求 1、敏感词能精确过滤,速度尽量快 2、如果敏...

m0_37453314的博客 6177

elasticsearch ik分词器远程扩展词典放nginx服务器实现热更新不需重启es

一、elasticearch 添加ik分词器并实现分词功能 ik分词器安装参看下:https://blog.youkuaiyun.com/chen_2890/article/details/83757022,

m0_37592814的博客 3121

Elasticsearch 核心技术(七):IK 中文分词器的安装、使用、自定义字典

IK 中文分词器是 Elasticsearch 的一个插件,它集成了 Lucene IK analyzer,支持自定义字典。

水滴的博客 2170

MATLAB实战:用ARMAX模型搞定电力系统惯量实时评估(附完整代码)

本文详细介绍了如何利用MATLAB中的ARMAX模型实现电力系统惯量的实时评估。通过系统辨识技术,结合电力系统的动态特性,提供从数据预处理、模型辨识到实时评估的全流程实战指南,并附完整代码。ARMAX模型在新能源高渗透率电网中展现出显著优势,误差较传统方法降低50%以上。

b9c0d的博客 390

ElasticSearch IK Analyzer 远程扩展字典remote_ext_dict无效

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 扩展配置</comment> <!--用户可以在这里配置自己的扩展字典 --> <entry key="ext_dict">custom

CodingAnHour 2672

从JTAG到AS模式:一文搞懂EP4CE10E22C8N所有配置引脚(MSEL, nCONFIG, DATA0)的用法

本文深入解析EP4CE10E22C8N FPGA的配置引脚(MSEL, nCONFIG, DATA0)在不同模式下的使用方法,特别关注从JTAG到AS模式的切换要点。通过详细的配置模式对比、状态机分析和PCB布局建议,帮助开发者避免常见陷阱,提升FPGA配置成功率。

weixin_33713350的博客 319

Elasticsearch 四、Elasticsearch6.4.3 安装IK 分词器及扩展字典

本文使用Postman工具模拟http请求, Postman 使用参考:https://blog.youkuaiyun.com/qq_41463655/article/details/100180079 一、安装Ik 分词器 1、下载插件 因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好,会将中文词语拆分成一个一个中文的汉子。因此引入中文分词器-es-ik插件 下载链接:https:...

ws - 兮的博客空间 1420

大疆2025八月份校招硬件工程师笔试真题A卷题目分享

大疆2025年笔试真题解析

weixin_63651698的博客 1565

面试篇 - LoRA(Low-Rank Adaptation) 原理

输出示例:trainable params: 262,144 || all params: 6,742,016,000 || trainable%: 0.0039。论文实验显示:零初始化 BB 可使初始损失与预训练模型相差不足0.1%,而非零初始化可能差50%+。若初始 ΔW≠0,模型可能立即偏离预训练学到的知识(如GPT-3突然忘记如何造句)。:如同汽车改装,先保持原厂配置(W),再逐步加装新部件(ΔW),避免直接飙车失控。:大模型的权重变化矩阵 ΔWΔW 通常是低秩的(少数主成分主导变化)。

qq_60245590的博客 1150

ElasticSearch的中文分词器及自定义扩展词典

因为ElasticSearch默认的中文分词器对中文分词不是很友好,会将中文词语拆分成一个个中文的汉字,因此引入中文分词器:es-ik插件。 官方网站下载:https://github.com/medcl/elasticsearch-analysis-ik/releases 注意:es-ik分词插件版本一定要和es安装的版本对应 ...

mameng1988的博客 4594

【2022KaliLinux】openvas/gvm 没有scan configs 或者是 scan config error “XXXXXXXXXXX”

gvm/openvas的configuration的scan config为空

zbossz的学习小分队 3603

ES-IK中文分词器安装

ES-IK中文分词器安装 日期:2019-10-23 环境:CentOS 7.2 续接文档:ES安装、注意点(Elasticsearch 7.3.2) 1. 准备安装包 重点:一定要与ES的版本一致(本文版本:7.3.2) 项目地址:https://github.com/medcl/elasticsearch-analysis-ik/releases 下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/download/

Weigeli的博客 297

【人工智能之深度学习】12. BERT微调实战:医疗文本分类的领域自适应技巧与工业级实现

摘要:医疗文本分类是自然语言处理在医疗健康领域的核心应用,可辅助疾病诊断、病历结构化和医疗质量监控。然而,医疗文本的专业术语密集、实体关系复杂及数据长尾分布等特性,导致通用BERT模型性能受限。本文系统阐述医疗文本分类的领域自适应技术,从理论原理到工业级实现展开全流程讲解。首先分析医疗文本的独特属性及技术挑战;随后详解领域继续预训练、适配器微调、对抗训练等核心技术的数学原理;构建包含数据预处理、模型优化、隐私保护的完整实战架构;通过疾病分类、情感分析、事件检测三大案例验证技术有效性。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1003

UG\NX二次开发 一种获取点的面的方法

有时,我们需要用户选择“面上的点”时,同时获取点所在的面。例如:调标准件、刻字等。通过点击点,ug会创建一个智能对象,可通过函数获得对象的父项,即为点所在的面。下面是封装的函数以及测试例子点在曲线上,获取点所在的曲线同理。UF_UI_point_constructd点对话框 和 block UI对话框都可以使用。

王牌飞行员_里海的博客 1779

ES搜索引擎以及IK分词器

什么是搜索? 根据一个搜索词,检索出所有包含该词的数据 例如:用户在搜索框输入一个词,客户端软件发送一个请求到后台,后台通过sql语句从数据库中找出相关条目(数据库会一条一条的对比),这就是一个最简单搜索原型 普通搜索面临的问题 1, 当数据量很大时,假如500G, 效率低。从用户角度,从点击搜索按钮到看到搜索结果可能要很长时间,1小时?2小时?用户疯掉 2, 当数据量达到1T,一台电脑已经放不下...

Static_HackSun的博客 1217

基于R语言的PLS算法实现解读

我们使用"pls"包来执行PLS回归,并提供了相应的源代码。在本文中,我们将详细解读基于R语言的PLS算法的实现过程,并提供相应的源代码。PLS算法的实现可以借助R语言中的"pls"包。该包提供了丰富的函数和工具,用于执行PLS回归、PLS-DA(PLS-Discriminant Analysis)和其他相关任务。除了执行PLS回归,"pls"包还提供了其他功能,例如PLS-DA(用于分类问题)和PLS变量选择等。上述代码将基于输入的X值,使用训练好的PLS模型进行预测,并返回预测结果。

TechWhizKid的博客 1043

ElasticSearch之IK中文分词

1.中文分词背景 中文分词的难点是,不能简单的按照一个个的字分隔,需要根据不一样的上下文,切分,不像英文有空格做分隔。 例如:中华人民共和国国歌 先只有默认的分词器看下效果 GET _analyze { "analyzer": "standard", "text": "中华人民共和国国歌" } 从下图中可以看出,完全是按照一个汉字,一个个的分词的,效果差强人意 2.安装IK中文分词器 ik分词是一款流行的elasticsearch 中文分词器,安装ik分词器版本一定要与所安装es版本一致。 官方

程序员小强的博客 6825

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

ElasticSearch学习笔记(4)· ES IK分词器

这里写目录标题九、IK中文分词器1、在线安装IK中文分词器2、本地安装IK中文分词器3、扩展词4、停用词5、配置远程词典6、分词器总结 九、IK中文分词器 NOTE:默认ES中采用标准分词器进行分词,这种方式并不适用于中文网站,因此需要修改ES对中文友好分词,从而达到更佳的搜索效果 # 1、定义:就是将一本文本中关键词拆分出来 我是中国人 分词器 中国 中国人 分词特点:拆分关键词,去掉停用词和语气词 # 2、ES中提供的分词器 1)默认标准分词器(standard analyzer) 英文:单词

一个到老才知道分享的人的博客 864

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Elasticsearch7.9.2中文分词器-IK分词器使用

elasticsearch默认提供了standard分词器,但对中文的分词效果不尽人意: 可以看出,把词语分成了一个个的汉字,这并不是我们想要的,接下来介绍下中文分词器-IK分词器的安装及使用。 1、IK分词器下载及安装 github:https://github.com/medcl/elasticsearch-analysis-ik 各版本分词器下载:https://github.com/medcl/elasticsearch-analysis-ik/releases 选择版...

大鹏 1114

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

ElasticSearch7.x入门教程之中文分词器 IK(二)

ElasticSearch 核心功能就是数据检索,首先通过索引将文档写入 es。1、词条化:分词器将输入的文本转为一个一个的词条流。2、过滤:比如停用词过滤器会从词条中去除不相干的词条(的,嗯,啊,呢);另外还有同义词过滤器、小写过滤器等。我们可使用内置分词器、第三方、或自定义分分词器。在 es/plugins/ik/config 目录下,新建 ext.dic 文件(文件名任意),在该文件中可以配置自定义的词库。添加自定义的词:最后重启ES即可。

qq_39853669的博客 1476

Elasticsearch安装中文分词器IK Analyzer

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代.

qq_40800602的博客 2618

Elasticsearch 中文分词器

下载时注意和es的版本对应,我们es版本为:8.6.2。在 ik 的文件的 config 目录下有 ik 分词的配置文件(IKAnalyzer.cfg.xml)以及相关的 dic 字典文件。在ES home/plugins 目录下创建目录 ik,并将我们下载下zip包解压到 es_home/plugins/ik 目录下。远程扩展字典的方式无需重启 ES 服务,只是在字典管理上来说,扩展字段文件独立于 ES 服务了,可能带来不便。查看结果,最终的分词中一定会有“科比布莱恩特”这样完整的词语。

这个需求,做不了 2137

分布式搜索引擎ElasticSearch-IK分词器

分布式搜索引擎ElasticSearch-IK分词器什么是IK分词器 什么是IK分词器 我们在浏览器地址栏输入 http://192.168.2.10:9200/_analyze?analyzer=chinese&pretty=true&text=我是程序员 浏览器显示效果如下 { "tokens": [ { "token": "我...

shenzhen_zsw的专栏 428

【Elasticsearch 自学笔记二】IK 中文分词器和搜索语法

文章目录IK 中文分词器测试自定义词典ES 搜索语法keyword 和 text 的区别测试过滤搜索结果结果分页与排序逻辑查询区间查询结果高亮 ES 作为一个搜索引擎,拥有高效且功能齐全搜索算法,这一期我们来了解一下其细节。 IK 中文分词器 ES 并不支持中文词语的切割,当使用中文时,我们输入的词汇会被切割成一个个单子,而不能组成我们想要的词语。 幸运的是,ES 人性化的支持各种插件的安装,通过安装 IK 分词器,我们就可以解决这个问题。 在 Docker 中,我们需要先进入容器,不用 Docker 可

Koorye今天自学了吗 944
上一篇: ElasticSearch速学 - IK中文分词器 、elasticdump数据导出导入、字段分词
下一篇: 视频电商网站 - vuex多个module交互
学习笔记666
博客等级 码龄12年 1047粉丝 1369原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值