中文分词器

干货 | 史上最全中文分词工具整理 作者 |fendouai 一.中文分词 分词服务接口列表 二.准确率评测: THULAC:与代表性分词软件的性能对比 我们选择LTP-3.2.0、ICTCLAS(2015版)、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较。我们选择Windows作为测试环境,根据第二届国际汉语分词测评(The SecondInternational ... 阅读详情

中文分词器

使用因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好,会将中文词语拆分成一个一个中文的汉子。因此引入中文分词器-es-ik插件

在下载使用插件时候 一定要注意 版本对应!

github地址: https://github.com/medcl/elasticsearch-analysis-ik/releases/

 

这个插件里面用到HttpClient 因为要远程获取关键词 拉取网上的热词  还有es通信

 

安装:

第一步:下载es的IK插件(资料中有)命名改为ik插件

第二步: 上传到/home/elasticsearch-6.4.3/plugins

第三步:      unzip ik.zip        

第四步: 重启elasticsearch即可

 

使用:分词结果  发送get请求

 

 自定义热词,扩展词:

/elasticsearch-6.4.3/plugins/ik/config目录下

 

vi custom/new_word.dic  (在ik的目录中的config下(/home/elasticsearch/elasticsearch-6.4.3/plugins/ik/config)创建一个目录 下入下面的内容)

老铁

王者荣耀

洪荒之力

共有产权房

一带一路

 

 

 修改到指定目录:

 

 

 然后启动ES:

成功!

看看:

 

自然语言处理之中文分词器-jieba分词器详解及python实战 中文分词是中文文本处理的一个基础步骤,也是中文人机自然语言交互的基础模块,在进行中文自然语言处理时,通常需要先进行分词。本文详细介绍现在非常流行的且开源的分词器结巴jieba分词器,并使用python实战介绍。jieba分词算法使用了基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能生成词情况所构成的有向无环图(DAG), 再采用了动态规划查找最大概率路径,找出基于词频的最大切分组合,对于未登 阅读详情

相关推荐

ElasticSearch:为中文分词器增加对英文的支持(让中文分词器可以处理中英文混合文档)

当我们使用中文分词器的时候,其实也希望它能够支持对于英文的分词。试想,任何一个存储文字的字段都有可能是中英文夹杂的。 我们的项目中使用IKAnalyzer作为中文分词器,它在处理文档过程中遇到英文时,利用空格和标点将英文单词取出来,同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了,只有一墙之隔:词干提取。一个真正的英文分词器除了

雷雨中的双桅船 1万+

Elasticsearch之中文分词器

讲解中文分词器IK的下载安装以及使用步骤,让我们的开发流程更加流畅、

一心同学的博客 4209

Mac安装elasticsearch中文分词器

{ "name" : "1vFT9YZ", "cluster_name" : "elasticsearch_gwz", "cluster_uuid" : "lxBMLC2DRpKOYoGBHDCpwQ", "version" : { "number" : "6.8.1", "build_flavor" : "oss", "build_type" : "ta...

PHP开光程序员的博客 1911

常用中文分词器

分词器: 1、word分词器 2、ansj分词器 3、mmseg4j分词器 4、ik-analyzer分词器 5、jcseg分词器 6、fudannlp分词器 7、smartcn分词器 8、jieba分词器 9、stanford分词器 10、hanlp分词器   测试评估报告: https://github.com/ysc/cws_evaluation   ...

aoeace 1299

深入理解IK Analyzer中文分词工具

本文还有配套的精品资源,点击获取 简介:IK Analyzer 是一款开源的中文分词工具,旨在提供简单易用和性能优良的中文分词解决方案。该工具支持正向与逆向最大匹配算法,自定义词典扩展,以及多种优化策略以提升分词效率。它适用于搜索引擎、信息检索、文本分析等多场景应用,并提供详细的源码解析和使用方法说明。 1. IK Analyzer开源中文分词工具简介 1....

weixin_42350014的博客 2334

SAP SD销售订单抬头自定义字段增强:BADI_SLS_HEAD_SCR_CUS实战指南

SAP ERP系统中的销售订单管理是企业核心业务流程,经常需要扩展标准功能来满足个性化业务需求。在SAP SD模块中,销售订单抬头屏幕的增强是常见需求。通过BADI(Business Add-In)技术,可以在不修改标准代码的前提下,实现自定义字段的添加与数据处理。本文详细介绍了如何使用BADI_SLS_HEAD_SCR_CUS实现销售订单抬头自定义字段,包括函数组子屏幕设计、数据存储表构建以及BADI方法的具体实现。这种增强方式适用于VA01/VA02/VA03等事务,保证了系统升级的兼容性和维护的便捷性

weixin_29758911的博客 349

elasticsearch教程--中文分词器作用和使用

目录 概述 环境准备 认识中文分词器 常用的中文分词器 IK Analyzer hanlp中文分词器 彩蛋 概述         上一篇博文记录了elasticsearch插件安装和管理, 在地大物博的祖国使用es,不得不考虑中文分词器,es内置的分词器对中文分词的支持用惨不忍睹来形容不为过,看这篇博文之前,建议先看一下博文elasticsearch...

java_龙 1万+

SpringCloud2025+SpringBoot3.5.0动态路由503问题排查与负载均衡依赖解析

本文详细排查了SpringCloud 2025与SpringBoot 3.5.0环境下,Spring Cloud Gateway动态路由返回503错误的根本原因。核心问题在于新版网关未默认集成负载均衡器,导致无法解析lb://服务名。通过对比静态路由与动态路由,定位到需显式引入spring-cloud-starter-loadbalancer依赖,并提供了完整的解决方案与最佳实践配置。

s3t4u的博客 504

在Elasticsearch中中文分词器怎么设置?

创建自定义分词器在索引的映射中定义一个新的分词器,并指定分词器类型为custom。},"type": "ik_max_word" // 使用IK Analyzer的分词器应用自定义分词器将自定义分词器应用到具体的字段。通过这些步骤,你可以在Elasticsearch中设置中文分词器,以提高中文文本处理的准确性和效率。有意找工作的同学,请参考博主的原创:《面试官心得--面试前应该如何准备》,《面试官心得--面试时如何进行自我介绍》, 《做好面试准备,迎接2024金三银四或关注博主免费专栏【

借雨醉东风的博客 1809

基于JavaEE的银行大客户关系维护系统(JSP+java+springmvc+mysql+MyBatis)

基于JavaEE技术的大型银行客户关系管理系统可以实现客户信息的集中管理、客户需求的分析与挖掘、个性化的服务推荐等功能。+ Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。用户发送请求:用户通过浏览器或其他客户端向系统发送请求,请求访问特定的页面或执行特定的操作。前端展示结果:前端接收到后端返回的数据,根据需要进行展示。数据返回给前端:后端程序处理完业务逻辑后,将结果数据返回给前端。后端程序接收到请求后,根据请求的类型和参数进行相应的处理。

gp1052的博客 719

树莓派与无人机协同实战:基于OpenCV的地标识别优化策略

本文深入探讨了基于树莓派与无人机的协同系统,重点分享了利用OpenCV优化地标识别以实现精准降落的实战策略。内容涵盖从应对复杂光照的图像预处理、鲁棒的轮廓几何过滤,到通过ROS进行稳定通信,以及实现分层控制与状态机设计,旨在提升系统在真实环境中的可靠性与性能。

y2z3a4b5c的博客 1086

ElasticSearch —— 中文分词器 IK

中文分词器下载 下载 elasticsearch-analysis 中文分词器,下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/ 安装中文分词器 elasticsearch-plugin elasticsearch 提供了一个安装插件的批处理文件,该 elasticsearch-plugin 文件在 elastic...

Woo_home的博客 4190

Windows下用RKDevTool解包update.img的完整流程(含常见错误排查)

本文详细介绍了在Windows系统下使用RKDevTool工具解包update.img固件的完整流程。从工具准备、环境搭建到逐步解包操作,重点解析了输出文件结构,并提供了修改分区后重新打包的实战方法。文章还针对解包失败、打包错误等常见问题提供了详细的排查与解决方案,旨在帮助嵌入式开发者和爱好者高效完成固件分析与定制工作。

aa123的博客 716

Lucene之中文分词器

注意: 在lucene 4.6.0以上版本使用IKAnalyzer时可能会出现以下异常: java.lang.illegalstateexception:tokenstream contract violation: reset()/close() call missing, reset() calledmultiple times, or subclass does not call ...

张育嘉的博客 992

Lora无线温湿度传感器方案

综上所述,Lora无线温湿度传感器以其长距离传输、低功耗、高稳定性、精准测量、无线传输以及广泛的应用场景等特点,在环境监测领域展现出了强大的竞争力和广泛的应用前景。Lora无线温湿度传感器广泛应用于各种需要远程监控和数据采集的场景,如仓储、农业、机房、楼宇、交通、工业、矿产、电力等领域。Lora无线温湿度传感器是一种采用Lora无线通信技术进行数据传输的温湿度监测设备。四、产品参数(以某款工业级Lora温湿度传感器为例)

weixin_46632654的博客 759

光学传播仿真软件:SPEOS_(14).建筑物内光环境仿真

在建筑物内光环境仿真中,材料属性的定义直接影响光的传播和反射效果。SPEOS提供了丰富的材料库,但也可以自定义材料属性以满足特定需求。创建新材料选择Materials->。输入材料名称和类型。配置材料属性选择材料对象,打开属性编辑器。设置反射率、透射率、表面粗糙度和颜色。# 导入SPEOS模块# 创建新材料# 配置材料属性custom_material.set_reflectivity(0.8) # 设置反射率为0.8。

kkchenjj的博客 1248

ElasticSearch 中文分词器对比

常用的中文分词器 Smart Chinese Analysis:官方提供的中文分词器,不好用。 IK Analyzer:免费开源的java分词器,目前比较流行的中文分词器之一,简单、稳定,想要特别好的效果,需要自行维护词库,支持自定义词典。 结巴分词:开源的python分词器,github有对应的java版本,有自行识别新词的功能,支持自定义词典。 Ansj中文分词:基于n-Gram+CRF+HMM的中文分词的java实现,免费开源,支持应用自然语言处理。 hanlp:免费开源,国人自然处理语言牛人无私奉献

jesseXu的博客 3485

51单片机最强模块化封装(3)

本篇文章将带大家继续封装我们的代码。这里我们会封装数码管的操作函数。我们又封装了一个模块啦,不知道现在大家有没有感受到模块化的强大呢。B站。

m0_49476241的博客 4061

ansj中文分词器详解

ansj中文分词器详解   最近在做一个人工智能的项目,其中用到了分词功能。从网上找了一些java用于分词的工具,最终选择了ansj中文分词器。个人认为效果和功能是比较优秀的。本文将对ansj的所有功能进行详解并提供收集到的文本,下面开始正文: 一、基本使用   引入如下maven依赖配置: <!-- ansj分词插件依赖 --> <dependency> <...

student_zz的博客 7117

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Docker安装ES,以及界面、中文分词器的插件

前提条件:确保你的机器上面已经安装了Docker和Java。 一、安装ElasticSearch 1、下载镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:6.3.2 用docker images查看已下载的镜像 (可选)对镜像命名:docker tag IMAGEID(镜像id) REPOSITORY:TAG(...

周先生丶的博客 2796

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

中文分词器(jcseg)

jcseg是基于 mmseg 算法的一个轻量级 Java 中文分词器,同时集成了关键字提取、关键短语提取、关键句子提取和文章自动摘要等功能。它提供了多种切分模式,包括简易模式、复杂模式、检测模式、检索模式、分隔符模式和 NLP 模式,以满足不同的应用场景需求。可以从官方网站或开源代码托管平台获取 jcseg 的 JAR 包或源代码。将 jcseg 添加到你的 Java 项目中。如果是使用 Maven 或 Gradle 等构建工具,可以在项目配置文件中添加相应的依赖。

weixin_43156294的博客 1166

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Lucene的中文分词器

1什么是中文分词器    学过英文的都知道,英文是以单词为单位的,单词与单词之间以空格或者逗号句号隔开。   而中文的语义比较特殊,很难像英文那样,一个汉字一个汉字来划分。   所以需要一个能自动识别中文语义的分词器。 2.Lucene自带的中文分词器    StandardAnalyzer       单字分词:就是按照中文一个字一个字地进行分词。如:“我爱中国”, ...

weixin_34234823的博客 265

Elasticsearch 支持哪些中文分词器?

在实际应用中,IK Analyzer因其强大的自定义能力和高准确率,成为Elasticsearch中文分词的首选。安装IK Analyzer插件后,可以通过简单的API调用来配置和使用IK分词器,从而改善中文搜索体验。不仅学会如何编程,还将学会如何将AI技术应用到实际问题中,为您的职业生涯增添一笔宝贵的财富。,让人能紧跟时代的浪潮。从普通网站,到公众号、小程序,再到AI大模型网站。有意找工作的同学,请参考博主的原创:《

借雨醉东风的博客 1120

Elasticsearch:使用中文分词器及简单操作示例

Elasticsearch:使用中文分词器及简单操作示例

Liu_y_xin的博客 2070

中文分词器性能比较

原文: http://www.cnblogs.com/wgp13x/p/3748764.html 摘要:本篇是本人在Solr的基础上,配置了中文分词器,并对其进行的性能测试总结,具体包括 使用mmseg4j、IKAnalyzer、Ansj,分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。   具体的Solr使用方法假设读者已有了基础,关于So

1万+
上一篇: Elasticsearch入门
下一篇: Elasticsearch6.4.3文档的映射
Art&Code
博客等级 码龄7年 77粉丝 554原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值