day73-ElasticSearch-分词-分词&安装ik分词

产业园区如何高效对接企业技术需求与高校科研成果?.docx 科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。 立即下载

1.分词器

想要更深入理解可以看看http://3dobe.com/archives/44/

2.演示

从下面三图可以看出,该分词器对中文不太友好,官网上几种分词器都是针对英文的,这个时候我们需要从github上去下载ik分词器

3.安装IK分词器前,先做如下操作,方便文件的传输

 4.安装IK分词器

下载链接https://github.com/medcl/elasticsearch-analysis-ik//releases/tag/v7.4.2

由于我们做了文件的挂载映射

所以文件上传到外部即可映射到容器的内部

解压后文件名改为ik复制到plugins目录下

plugins目录下 chmod -R 777 ik/   设置全部权限

重启virtualbox,我没重启virtualbox只是重启了容器,试了很多次都不行...

测试,使用ik_smarter 与 ik_max_word发现挺不错,

 但是因为有一些网络流行词汇ik分词器中还没有,后面我还会说怎样加入自定义分词器

国央企创新负责人如何快速掌握本地科技资源分布与匹配情况?.docx 科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。 立即下载

相关推荐

【Pytorch】DCGAN实战(三):二次元动漫头像生成

文章目录1.实现效果2.环境配置2.1Python2.2Pytorch、CUDA2.3Python IDE3.具体实现3.1数据预处理(data.py)(1)导入包(2)定义数据类3.2模型Generator,Discriminator,权重初始化(model.py)(1)导入包(2)Generator(3)Discriminator(4)权重初始化3.3网络训练(net.py)(1)导入包(2)创建类3.4 主函数(main.py)(1)导入文件(2)定义超参数(3)实例化(4)进行训练4.训练过程4.1

qq_44031210的博客 4918

windows10 安装ik分词器后遇到的问题

今天刚刚学着装了ik分词器,装完后,想要验证是否装好了,于是报了以下错误。 因为我的es是解压在c盘,所以基本上权限是不够的,所以我把整个es移到了D盘。当然就解决了这个问题。 开心哦!!! ...

weixin_43855185的博客 1256

svn co --depth和svn up --set-depth 只check out下一层文件 只更新指定文件 只更新下一层的用法

svn的工程可能很大 有时我们只需要部分文件即可 这里介绍几个命令 1.svn co(check out) --depth --depth=empty,files,immediates,infinity 假设某svn结构如下 svn://root/PRO/A_dir/a svn://root/PRO/B_dir/b svn://root/PRO/c_file svn co --depth=emptysvn://root/PRO 此时只会在本地check out出 PRO/的空目录。 sv.

cy413026的博客 1万+

利用ik分词并返回分词后的结果

使用IK做分词之前需要准备jar包。本文使用的方法只需要IKAnalyzer2012_u6和lucene-core-3.6.0两个jar包即可。关于IK以及lucene的版本,最好使用别人已经使用过的或者本文的版本,因为IK和lucene在不同的版本修改了一些东西导致很多版本的两种包不兼容,运行时会报各种错误和异常。 本文使用jar包链接 IK分词并返回分词结果 首先我们需要将文本读到字符串中 ...

fr961951149的博客 1679

CentOS 7 常用命令大全

CentOS中Linux命令

m0_63075763的博客 2018

Ubuntu 24.04 + RTX 5090 部署 OpenVLA-OFT:从环境配置到机器人任务评估实战

本文详细记录了在Ubuntu 24.04 LTS系统上,为全新RTX 5090显卡配置CUDA 12.8+与PyTorch 2.7.1+开发环境,并成功部署OpenVLA-OFT视觉语言模型进行机器人任务评估的完整实战流程。文章重点解决了驱动安装、依赖版本冲突、路径设置等核心难题,为在最新硬件上运行先进AI机器人模型提供了可靠的避坑指南和性能观察。

n8m7b6v5c4的博客 595

谷粒商城day69 -全文检索-bulk批量操作导入样本测试数据

1._bulk语法如下 分两部分 上面为索引,下面为数据 2.测试与导入测试数据 测试 测试数据链接如下 https://github.com/elastic/elasticsearch/blob/master/docs/src/test/resources/accounts.json 导入测试数据,用以后面的学习 可以看到在bank文档下有一千条数据 ...

JavaCoder_juejue的博客 887

从零构建:ESP32S3无线DAP-Link调试器的硬件与软件协同设计

本文详细介绍了基于ESP32S3的无线DAP-Link调试器的硬件与软件协同设计,涵盖关键元器件选型、无线通信协议优化、双核任务处理及低功耗调试方案。通过ESP-NOW协议实现低延迟无线调试,结合USB协议栈与双核协同,为嵌入式开发提供高效灵活的调试解决方案。

gitlab7runner的博客 859

day117-商城业务-检索服务-SearchRequest构建-检索+排序、分页、高亮+聚合&测试

1.DSL语句概览与分析 此篇我要做的就是完成DSL代码层面的实现,大致的结构如下,详细的DSL语句上篇已经贴出来了 包含计算分数的must查询与不计算的filter外面被bool然后最外面被query对象包着 然后是排序,然后是分页,然后是高亮,最后是聚合分析 2.上代码 ...

JavaCoder_juejue的博客 837

OpenClaw用户必看:每天0成本使用OpenClaw!NVIDIA NIM免费大模型接入教程

🚀 OpenClaw接入NVIDIA NIM免费API!glm5、minimax-m2.5等大量模型任选,0成本升级AI助手!💰

XiaoqiangClub的博客 5579

海思3516A移植MT7601U编译过程记录

官方地址:https://www.mediatek.com/products/broadbandWifi/mt7601 tar -xjf DPO_MT7601U_LinuxSTA_3.0.0.4_20130913.tar.bz2 cd DPO_MT7601U_LinuxSTA_3.0.0.4_20130913 1> Makefile替换 PLATFORM = HISI_3516A ifeq ($(PLATFORM),HISI_3516A) LINUX_SRC = /home/wbk/test/linu

qq_39048131的博客 1231

谷粒商城day67 -全文检索-ElasticSearch-Docker安装ES与Kibana以及设置自动启动

其实步骤与之前安装mysql与redis大同小异,安装,映射端口及文件夹等 具体我就不浪费时间贴我的指令了,看这篇https://blog.youkuaiyun.com/Q010_/article/details/107445061 记得把多余单引号去掉就好

JavaCoder_juejue的博客 826

IPCP(IP Control Protocol,IP控制协议)

IPCP(IP Control Protocol,IP控制协议)

天赐好车的博客 756

day78-商城业务-商品上架-sku在es中存储模型分析

1.会在日志与商品全文检索中使用到es,日志部分后面再说下面会说商品的全文检索 2.如下全文检索将会用es而不是mysql,为什么呢 1.mysql全文检索没有es强大 2.es中数据保存在内存中,性能会比mysql优很多,当内存不够的时候咋办呢,分片,支持分布式,容量无限, 但是设计的时候还是尽量要节省,因为内存产品比硬盘要贵很多 3.存储模型的分析与确定 将数据从mysql保存到es称为上架 上架的商品才可以在网站上被展示与检索 以下是一个我们检索大致需要的属性的列举,第一...

JavaCoder_juejue的博客 561

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

day77-全文检索-ElasticSearch-整合-测试复杂检索

1.本文主要参考链接 https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-search.html 2.代码 @Test public void searchData() throws IOException { // SearchRequest searchRequest = new SearchRequest(); // search

JavaCoder_juejue的博客 514

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

day74-ElasticSearch-分词- 自定义扩展词库

1.为了nginx容器配置,执行如下代码,若没有nginx容器会从远程拉取 docker run -p 80:80 --name nginx \ -v /mydata/nginx/html:/usr/share/nginx/html \ -v /mydata/nginx/logs:/var/log/nginx \ -v /mydata/nginx/conf/:/etc//nginx \ -d nginx:1.10 POST _analyze 2.如下内存不太够,调大点 virtualbo..

JavaCoder_juejue的博客 491

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

谷粒商城day70-全文检索-ElasticSearch-进阶-两种查询方式与QSDL入门

关于elasticsearch的安装与基本的增删改查已经在前面有所讲解,此篇以几个常用例子带大家入门ES的基本检索方式 第一种 相当于get请求,在请求后面拼各种参数不常用,这里不多说 第二种 相当于post请求,有个请求体 https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-search.html 比如 以某个字段升序查全部数据 如果不指定分页具体参数时,是默认...

JavaCoder_juejue的博客 444

day75-ElasticSearch-整合-SpringBoot整合high-level-client

1.API选择 - high-level-client high-level-client是对low-level-client进行了封装就如mybatis与jdbc的关系 2.创建search模块 使用spring initializer创建maven模块 因为默认创建出来后父版本会是最新的版本 将父版本改为之前其他模块版本一致 看到父版本的依赖是6.8.6版本,复制过来并改为7.4.2版本 3.引入common依赖 添加注册服务的相关配置 ...

JavaCoder_juejue的博客 415

day80-商城业务-商品上架--构造基本数据+构造sku检索属性+远程查询库存+远程上架接口+抽取响应结果

此篇文章算是几篇整合为一篇了 核心代码如下,大致逻辑页面点击SPU上的上架,根据spu查出其下sku以及相关规格属性等等,把各信息封装到 skuEsModels中,然后调用第二部分代码进行上架,也就是保存到ES中,方便后面检索,保存完之后,改库存+改状态 中间一些查库存更新库存的接口没贴出来 @Override @Transactional public void spuUp(Long spuId) { List<SkuInfoEntity>

JavaCoder_juejue的博客 368

谷粒商城day71 -全文检索-ElasticSearch-进阶-aggregations聚合分析

链接https://www.elastic.co/guide/en/elasticsearch/reference/7.10/search-aggregations.html 现在我带大家来入门学习 如下我先查出address 模糊匹配mill的数据,类似于sql中的like 第一个聚合 现在我发现查出四条数据,我还想看看他们的年龄分布, 这个时候需要使用aggs 然后加入一个聚合对象,然后里面是聚合类型是terms用来查看分布最里层声明是哪个属性 可以看到右侧的结果,...

JavaCoder_juejue的博客 333

谷粒商城day68 -全文检索-ElasticSearch基本增删改查

1._cat 2.put & post 新增与修改数据 put请求:必须带ID ID不存在为新增 存在则为修改 post请求 可带ID可不带 新增:不带ID或者ID不存在 修改 :带ID且ID已存在 带 _update的话数据必须用doc如: _update会在更新的时候比较原数据,若数据没有发生改变则取消更新 3.get查询数据&乐观锁字段 需要先把这俩字段查询出来,然后并发修改时携带若发生变化则取消修改,重新查了再修改...

JavaCoder_juejue的博客 285

day115-商城业务-检索服务-检索DSL测试-查询部分

1.DSL回顾 从上次敲DSL已经过了两三个月了,这次再来试试 如下是查询的啥?查询的是标题包含华为没有库存,商品品牌id为6或8的商品 知识点:组合查询使用bool,match分词后收索,term使用一整个关键词去搜索不进行分词,filter不会去计算任何分值,也不会关心返回的排序问题,因此 比must啥的效率会高一点 GET product/_search { "query": { "bool": { "must": [ { "match": {

JavaCoder_juejue的博客 281

day116-商城业务-检索服务-检索DSL测试-聚合部分

1.修改映射中的内容 老的映射为如下,可以看到许多字段的index及doc_values都为false,那么这些字段将无法用于检索与内容的显示 { "product" : { "mappings" : { "properties" : { "attrs" : { "type" : "nested", "properties" : { "attrId" : { "t...

JavaCoder_juejue的博客 265

谷粒商城day80 -我对elasticsearch的初印象

详细介绍我是看的这篇博客https://www.jianshu.com/p/60b242cbd8b4 目前还没使用过,收索一些资料知道他有如下特点 1.可用于大数据量(PB级)的查询 2.查询方式是啥倒排索引查询,就是分词然后查出来后有个相关度,然后根据相关度的大小进行排序, 典型的用空间换时间 3.底层是lucene,封装了RESTFUL API方便使用,入门简单 4.跟数据库类似 其实ES功能就像一个关系型数据库,在这个数据库我们可以往里面添加数据,查询数据。 ES中的索引非传统索引的含

JavaCoder_juejue的博客 247
上一篇: vagrant内虚拟机安装在E盘时本机ping不通vagrant
下一篇: day74-ElasticSearch-分词- 自定义扩展词库
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我才是真的封不觉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值