ELK第四篇:Elasticsearch安装IK中文分词插件

ElasticSearch——全文搜索引擎 一、为什么需要全文搜索引擎? 首先先来了解一个概念,在我们生活中一般来说有两种数据:结构化数据、非结构化数据 结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。 非结构化数据: 非结构化数据又可称为全文数据,指不定长或无固定格式的数据,如邮件,word文档等。 对于结构化数据我们可以直接从数据库查询,而对于非结构化的数据此时就要用到全文检索的方式查询,比如对一个文档或者网页中的内容文本每个词建立一个索引,把这些非结构化的变成结构化的方式然后来查询。 全文搜索引擎百度百科定义:全文搜索引擎是目前 阅读详情

简介

准备工作

环境:centos7.0,Elasticsearch6.0.0

下载IK插件压缩包,插件版本也是6.0.0
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip

之前的版本看到他们需要自己maven编译,这个版本直接下载zip格式的是已经编译完成的,直接使用

安装IK

解压elasticsearch-analysis-ik-6.0.0.zip
把解压后的elasticsearch下的文件拷贝到elasticsearch安装目录下plugins文件里面创建的ik文件下

unzip elasticsearch-analysis-ik-6.0.0.zip
cd elasticsearch
pwd 
/mnt/opt/elasticsearch
#创建安装目录下的插件目录ik
mkdir /mnt/opt/elasticsearch-6.0.0/plugins/ik/
#拷贝当前文件夹下的所有文件到插件目录ik
cp -r ./* /mnt/opt/elasticsearch-6.0.0/plugins/ik/

启动

中文分词测试

使用RESTAPI进行测试

curl -H 'Content-Type: application/json'  -XGET 192.168.0.91:9200/_analyze?pretty   -d '{"analyzer":"ik_max_word","text":"中华人民共和国国歌"}'

结果打印出来可以看出已经进行分词了

{
  "tokens" : [
    {
      "token" : "中华人民共和国",
      "start_offset" : 0,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "中华人民",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "中华",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "华人",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "人民共和国",
      "start_offset" : 2,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "人民",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "共和国",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "共和",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "国",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 8
    },
    {
      "token" : "国歌",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 9
    }
  ]
}

安装elasticsearch-analysis-pinyin分词器

pinyin分词器可以让用户输入拼音,就能查找到相关的关键词。比如在某个商城搜索中,输入shuihu,就能匹配到水壶。这样的体验还是非常好的。

pinyin分词器的安装与IK是一样的,这里就省略掉了
插件地址
https://github.com/medcl/elasticsearch-analysis-pinyin

提供了多种分词规则:
pinyin,就是普通的把汉字转换成拼音;
pinyin_first_letter,提取汉字的拼音首字母
其他请查看官方文档

elasticsearch(ES)简介及安装-----笔记 ES是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。ES结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域。elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。kibana负责数据可视化,elasticsearch负责存储、计算、搜索数据,logstash\Beats负责数据抓取。elasticsearch底层实现是Lucene计术。 阅读详情

相关推荐

大数据ELK(八):Elasticsearch安装IK分词器插件

全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。 目录 系列历史文章 安装IK分词器 一、下载Elasticsearch IK分词器 二、切换到lanson用户,并在es的安装目录下/plugins创建ik 三、将下载的ik分词器上传并解压到该目录 四、将plugins下的ik目录分发到每一台服务器 五、重启Elasticsearch 系列历史文章 2021年大数据ELK(八):Elasticsearch安装IK分..

Lansonli(蓝深李)的博客 1543

本地elasticsearch中文分词器 ik分词器安装及使用

ElasticSearch 内置了分词器,如标准分词器、简单分词器、空白词器等。但这些分词器对我们最常使用的中文并不友好,不能按我们的语言习惯进行分词。ik分词器就是一个标准的中文分词器。它可以根据定义的字典对域进行分词,并且支持用户配置自己的字典,所以它除了可以按通用的习惯分词外,我们还可以定制化分词。ik分词器是一个插件包,我们可以用插件的方式将它接入到ES。下载地址:ik分词器地址 注意要选择跟自己es保持一致的版本下载。 将下载的安装包在es安装目录下的plugins下新建一个ik文件夹、将文件解压

aq_money的博客 1万+

Elasticsearch中文分词插件IK实战指南

Elasticsearch 是一个开源的分布式搜索与数据分析引擎,基于 Lucene 构建,具备高可用性、可扩展性和实时性。其核心特性包括:支持全文检索、结构化查询、聚合分析以及近实时的数据处理能力。在大数据生态系统中,Elasticsearch 被广泛应用于日志分析(如 ELK Stack)、商品搜索、行为监控、指标可视化等场景。其分布式架构支持水平扩展,能够高效处理 PB 级别的结构化或非结构化数据。下一章将深入探讨中文分词的基本原理及其在搜索引擎中的关键作用。分词。

weixin_42613360的博客 717

Elasticsearch如何安装中文分词插件ik

elasticsearch-analysis-ik 是一款中文的分词插件,支持自定义词库。  安装步骤:  1、到github网站下载源代码,网站地址为:https://github.com/medcl/elasticsearch-analysis-ik  右侧下方有一个按钮“Download ZIP”,点击下载源代码elasticsearch-analysis-ik-master.zip。

paul342的专栏 1190

大模型面试题52:LLM如果在训练过程中loss值出现spike应该怎么办?

小白急救:停更→回滚→降LR→裁剪梯度,先保住训练不崩溃;进阶排查:查数据→查优化器→查硬件,找到spike的根因并解决;深层预防:预处理保守配置+训练中实时监控,从源头规避spike。先止损,再溯源,最后预防。

叫好与叫座虽然不是对立面,但想在同一个作品中达到双重效果很难。 1168

STM32HAL库硬件I2C驱动INA226避坑指南:从寄存器配置到电流测量实战

本文详细解析了使用STM32的HAL库硬件I2C驱动INA226电流/功率监测芯片的完整流程与常见陷阱。内容涵盖从硬件I2C配置、寄存器(特别是配置与校准寄存器)的深度解析、健壮的驱动函数封装,到实战中的校准技巧与滤波优化,旨在帮助开发者避开通信失败、数据不准等典型问题,实现高精度电流测量。

x1y2z的博客 791

【愚公系列】2022年12月 Elasticsearch数据库-ELK添加中文分词器插件(三)

分词器的作用是把一段文本中的词按一定规则进行切分。对应的是Analyzer类,这是一个抽象类,切分词的具体规则是由子类实现的,所以对于不同的语言,要用不同的分词器。在创建索引时会用到分词器,在搜索时也会用到分词器,这两个地方要使用同一个分词器,否则可能会搜索不出结果。

愚公智库 9519

Qt跨平台CAN通信实战:Vector、PCAN与周立功设备统一接口设计

本文针对Qt开发中常见的多品牌CAN设备兼容难题,提出了一套统一的跨平台CAN通信接口设计方案。通过抽象层封装,实现了对Vector、PCAN和周立功设备的统一操作,上层业务代码无需修改即可在不同硬件间切换,有效解决了驱动API差异、环境配置复杂和维护成本高等痛点,显著提升了代码复用率和开发效率。

weixin_29161785的博客 329

ELK系列(十)、ES中文分词器IK插件安装和配置远程词库热加载

简介 IK Analyzer是一个开源的,基于Java语言开发的轻量级的中文分词工具包; 最初,它是以开源项目Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件;从 3.0 版本开始,IK 发展为面向 Java 的公用分词组件,独立亍 Lucene 项目,同时提供了对 Lucene 的默认优化实现。在 2012 版本中,IK 实现了简单的分词歧义排除算法,标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化; 本篇就介绍如何给ES安装插件,以及使用ik中文分词器进行搜索,最后介绍一下

王义凯 的博客 5919

(8)机器人动力学

机器人是一个具有多输入多输出的复杂动力学系统,存在严重的非线性,需要非常系统的方法对机器人进行动力学研究。常用的机器人动力学建模方法有:Lagrange(拉格朗日)动力学方法、Newton-Euler(牛顿-欧拉)动力学方法、Gauss(高斯)动力学方法、Kane(凯恩)动力学方法等。机器人动力学研究的是机器人的运动和作用力之间的关系。机器人的动力学问题包括动力学正问题和动力学逆问题。动力学正问题是对于给定的关节驱动力......

rouyu308的博客 9497

虚拟化Esxi 和 华为交换机--配置链路捆绑

在这种模式下,Eth-Trunk的建立和成员接口的加入都需要手工配置,没有LACP协议的参与。● 在没有配置802.3ad聚合时,启用基于IP哈希的路由将中断网络,因此必须先对虚拟交换机进行更改。再去修改交换机的链路聚合模式(交换机配置为手动模式的链路聚合)当服务器需要通过交换机从远端服务器获取配置文件后才可以启动链路聚合时,交换机的链路聚合口需要配置lacp force-forward。● 交换机必须设置手动模式的链路聚合,虚拟交换机的负载平衡方法必须设置为基于IP哈希的路由。

ling 2113

[Elasticsearch](三)安装本地Elasticsearch的IK分词插件和拼音分词插件

目录:https://github.com/dolyw/Elasticsearch 项目地址 Github:https://github.com/dolyw/Elasticsearch Gitee(码云):https://gitee.com/dolyw/Elasticsearch 安装本地Elasticsearch的IK分词插件 去https://github.com/medcl/elas...

你究竟是想一辈子卖糖水,还是希望获得改变世界的机会? 1246

华为HCIA-Datacom实战:200人企业园区网从规划到部署全流程解析

本文详细解析了华为HCIA-Datacom认证实战中200人企业园区网的规划与部署全流程。从需求分析、组网架构设计到设备选型、VLAN划分及安全策略实施,全面覆盖园区网建设的关键环节,特别针对部门隔离、无线覆盖和基础安全防护等典型场景提供可落地的解决方案。

f0g1h2的博客 710

Elasticsearch安装IK分词器,kibana安装是基本使用,DSL语句入门

3. 安装IK分词器 ElasticSearch 默认采用的分词器, 是单个字分词 ,效果很差 ,所以我们需要安装一个更实用的分词器,这里采用IK分词器 中文分词器 IK Analyzer 3.0 发布 3. 安装 Kibana Kibana是一个针对Elasticsearch的开源分析及可视化平台,使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作,使用Kibana能执行高级的数据分析,并能以图表、表格和地图的形式查看数据。 Kibana 是 ELK 的一个组成。 E:EalsticSea

Java小皮孩 1万+

如何加快香山处理器Chisel->Verilog编译速度

相比使用默认的scala firrtl complier,使用CIRCT能够将香山代码编译到Verilog的速度提高50%左右。在执行make命令时加上MFC=1,例如make verilog MFC=1或make emu MFC=1。在本地从源码编译CIRCT,在编译完成后将circt/bin路径加入PATH中。使用GraalVM免费版作为JVM编译香山比OpenJDK快10%-20%。我们推荐使用GraalVM代替OpenJDK。使用CIRCT编译香山。

专业技术人员的归宿 862

Android日志实战——Tombstones日志分析(七)

Tombstones 一般是由 Dalvik 错误、状态监视调试器、C 层代码以及 libc 的一些问题导致的。当系统发生 Tombstone 的时候,内核(kernel)首先会上报一个严重的警告信号(signal),上层接收到之后,进程的调试工具会把进程中当时的调用栈现场保存起来,并在系统创建了 data/tombstones 目录后把异常时的进程信息写在此目录里面,开发者需要通过调用栈来分析整个调用流程来找出出问题的点。Tombstone原因分析pid 与 tid 相同,问题出在主线程。

小旭的专栏 2521

ElasticSearch 之 Linux 安装 ElasticSearch-7.15.2(ELK、IK)

Linux 安装 ElasticSearch 安装 Kibana 安装 Logstash ELK 环境 IK 分词器 版本 7.15.2

vihem的博客 4828

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

【ELK】(三)Elasticsearch 安装IK中文分词器

文章目录

云祁QI 1261

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

elasticSearch和ik分词插件安装和使用

上面可以看到无论是 name “科比追加” 还是description “湖人的名宿科比布莱恩特” 进行的分词结果 都是一个科 和 一个 比,这就是为什么上面如果不是搜索全称的话直接搜索科比的话会搜索不到,如果原来的name是“科比”,虽然分词是一个“科”和一个“比”,但是只要是全称依然能搜索到,而如果是“科比追加”,搜索“科比”的话,就没法搜索到了。所以需要先删除索引,创建索引,添加文档一遍。我们把name改成科比追加,然后搜索,“科比”,发现是搜索到了,说明这个自定义分词生效。

FA的博客 2029

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

elasticsearch5安装和elasticsearch-analysis-ik中文分词插件安装

ElasticSearch简介 Elastic有一条完整的产品线及解决方案:Elasticsearch、Kibana、Logstash等,前面说的三个就是大家常说的ELK技术栈。 Elasticsearch具备以下特点: 分布式,无需人工搭建集群(solr就需要人为配置,使用Zookeeper作为注册中心) Restful风格,一切API都遵循Rest原则,容易上手 近实时搜索,数据更新...

紫芝的博客 849

Elasticsearch-7.0和Logstash-7.0和Kibaa-7.0的下载以及安装(百度网盘)

一、前言       这几天好不容易把ES-6.2.4给研究完,结果在4月10号那天,ES-7.0发布了,我的天。没办法,只能再把本地的ELK都升级一下。这篇博客主要是分享一下百度网盘的下载地址,因为官方的网络下载太慢了,还是百度网盘的快。本来要放到优快云的下载里面,但是下载需要积分,有点坑,毕竟不是每个人都有积分。 二、下载部分 1、...

铁柱的博客 5227

ELK--Elasticsearch 安装 ik分词器 插件

ELK--Elasticsearch 安装 ik分词器 插件 分词 把一段文字的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作。 默认的中文分词是将每个字看成一个词,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题。 Elasticsearch内置分词器 Standard - 默认分词器,按词切分,小写处理 Simple - 按照非字母...

oyc的博客 974

Elasticsearch 集群、Kibana和IK分词器:最新版 9.3.2 手动安装教程

Elasticsearch 9.3.2 于 2026 年 3 月正式发布,作为 Elastic Stack 家族的最新成员,带来了多项性能改进与功能增强。然而,对于需要精细掌控服务器环境的运维人员而言,官方提供的包管理器安装方式往往无法满足生产环境的手动部署需求。尤其在集群模式下,节点间的通信配置、安全认证启用,以及中文搜索必须的 IK 分词器版本匹配与手动安装,均是实践中常见的痛点。

在技术的广袤天地里,本博客如精准罗盘。剖析前沿科技,深掘代码奥秘,以精炼笔触,带您穿越复杂技术迷宫,速达知识彼岸。 5456

ELK系列(十一)、ElasticSearch7.7.0插件es-head安装及使用

前面讲完了ELK的应用,我们可以通过curl命令或者java或python的request命令,或者kibana的开发面板对ES的数据直接操作,本篇介绍一个轻量又好用的插件:es-head。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系列(二)、在Kibana中使用RESTful操作ES库 ELK系列(三)、安装Logstash插件及打包离线安装包 ELK系列(四)、Logstash读取nginx日志写入ES中 ELK系

王义凯 的博客 7561

ElasticSearch (ES)万字狂神学习笔记(超详细)

ElasticSearch 学习万字笔记 ElasticSearch adj. 有弹性的;灵活的;易伸缩的 全文概述 ElasticSearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用: 总之,可以对搜索关键字高亮显示,可以对搜索结果纠错,提供建议。并且ELK是大数据必会的技术。 本人根据b站狂神说视频“【狂神说Java】ElasticSearch7.6.x最新完整教程通俗易懂”学习ES,参考网上已有笔记,对已有笔记错误修

aibo_yyds的博客 2万+

windows下安装配置 elasticsearch | kibana | analysis-ik

elasticsearch是一款非常强大的开源搜索引擎,支持Restful风格,可以帮助我们从海量的数据中快速找到用户所需要的内容。是当前最流的开源企业级搜索引擎,能够达到近实时搜索、稳定、可靠、快速、安装使用方便。elasticsearch结合kibana、Logstash、Beats(即elastic stack,简写:ELK)。被广泛应用在日志数据分析、实时监控等。elasticsearch是elastic stack的核心,主要负责数据存储、搜索、分析。elasticsearch底层基于。

何同学 1799
上一篇: ELK第三篇:Elasticsearch的CRUD常用REST接口
下一篇: ELK第五篇:使用JavaAPI6.0.0操作-DocumentAPIs
牧竹子
博客等级 码龄17年 572粉丝 233原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值