Elasticsearch安装 Head插件安装和使用 IK分词器 Es跟mySql的数据同步

elasticsearch安装ik分词器,连接mysql8.0实现热加载词库,踩坑 安装的是elasticsearch7.7.1 从https://github.com/medcl/elasticsearch-analysis-ik下载ik源码(导入idea): 1:修改pom.xml 版本号改为自己的ES对应版本 如:7.7.1 添加mysql的jar包(和mysql数据库对应) 2.修改源码参考:https://blog.youkuaiyun.com/qq_35524586/article/details/88553670 坑:我自己加上驱动加载后打包到elastics... 阅读详情

下载并且安装ES

Elasticsearch与MySQL数据库逻辑结构概念的对比

Elasticsearch关系型数据库Mysql
索引(index)数据库(databases)
类型(type)表(table)
文档(document)行(row)

下载ElasticSearch 5.6.8版本
https://www.elastic.co/downloads/past-releases/elasticsearch-5-6-8
资源\配套软件中也提供了安装包 无需安装,解压安装包后即可使用
在命令提示符下,进入ElasticSearch安装目录下的bin目录,执行命令

.\elasticsearch

我们打开浏览器,在地址栏输入http://127.0.0.1:9200/ 即可看到输出结果


安装Head插件

因为使用es-head工具,必须使用node js的环境支撑 Node.js 是什么? 前后台分离的时候,
前端想调用我们后端,需要依赖http请求,搭建前端的开发环境,node.js

Node.js 就是运行在服务端的 JavaScript。

Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。

Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎,V8引擎执行Javascript的速度非常快,性能非常好。

安装node js
https://nodejs.org/zh-cn/点击下载并且安装
安装成功后,检查环境是否正常
在这里插入图片描述

打开github head的源码
https://github.com/mobz/elasticsearch-head下载并且解压到你本地
解压后,打开dos窗口,输入指令

npm install

在这里插入图片描述
启动head
在解压的目录下输入指令

npm run start

在这里插入图片描述
在这里插入图片描述


**解决跨域问题** 点击连接按钮,没有任何响应,按F12会发现如下错误 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200523090942754.png)

Access to XMLHttpRequest at ‘http://localhost:9200/’ from origin ‘http://localhost:9100’ has been blocked by CORS policy: Response to preflight request doesn’t pass access control check: No ‘Access-Control-Allow-Origin’ header is present on the requested resource.

需要修改elaticSearch配置文件:elasticsearch.yml文件中,增加以下两句命令

http.cors.enabled: true
http.cors.allow-origin: "*"

此步为允许elasticsearch跨越访问 点击连接即可看到相关信息
重启es服务,刷新页面
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


IK分词器

1.IK分词器的安装以及使用
1)讲下载好的IK分词器,解压,解压后,点进去,将里面的elasticsearch文件重命名为ik
2)讲ik文件夹拷贝到elasticsearch/plugins目录下
3)重新启动,即可加载ik分词器
在这里插入图片描述
2.测试IK分词器的效果
IK提交两个分词算法 ik_smart 和 ik_max_word
ik_smart:最少切片
ik_max_word:最细粒度划分切片
3.自定义词库
my.
4.测试
我们在浏览器输入:

http://localhost:9200/_analyze?analyzer=chinese&pretty=true&text=我是中国人,我爱中国

Es跟mySql的数据同步

Logstash介绍
es官方推荐的一款轻量级的日志搜索处理框架,可以方便的把分散的,多样化的日志搜集起来, 并进行自定义的处理,然后 帮你传输到指定的位置,比如某个服务器或者文件中

1.Logstash安装和测试
解压logstash,进入bin目录下

.\logstash -e 'input {stdin {} }  output{stdout{}} '

输入和输出
在这里插入图片描述

  • Stdin,表示输入流,指从键盘输入
  • Stdout 表示输出流,指从显示器输出
  • -e 执行
  • -f 执行文件

2.Mysql数据导入elasticsearch
①在logstatsh的目录下创建一个新的文件夹 mysqldata名字随意)
②在新建的文件夹下,从你的maven仓库中拷贝一份新数据库的jar包(依赖)
③新建一个mysql.conf的文件(文件的编码一定要是UTF-8的文件编码)
④把一下内容拷贝到mysql.conf文件中

input {
   jdbc {
    jdbc_connection_string =>"jdbc:mysql://192.168.152.153:3306/tensquare_article?setUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=UTC"
    jdbc_user => "root"
    jdbc_password => "root"
    jdbc_driver_library => "D:/workspace/dailywork/Liming/logstash-5.6.8/logstash-5.6.8/mysqldata/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "50000"
    statement => "select id,title,content ,state FROM tb_article "
    schedule => "* * * * *"
	
	}
}


output {
  elasticsearch {
      hosts => "localhost:9200"
      index => "tensquare"
      document_id => "%{id}"
      document_type => "articlees"
   }

stdout {
    codec => json_lines
  }
}
  • jdbc_connection_string :需要你配置数据库连接地址
  • jdbc_user :用户名
  • jdbc_user :密码
  • jdbc_driver_library配置你本地的mysql-connector-java-5.1.38.jar包的真实路径
  • statement :查询的sql语句,并且字段一定要跟es中的type(表)保持一致
  • index :eleaticsearch中的索引库的名称 document_type:eleaticsearch中的type名称(一定是存在)
  • hosts :eleaticsearch的ip地址跟端口号 schedule :定时任务的时间表达式 (我们配置的是一分钟执行一次)

3.运行查看

.\logstash -f ..\mysqldata\mysql.conf

在这里插入图片描述

ElasticSearch+LogStash实现mysql的数据同步和分词全文检索 建站过程中,为了方便笔记和文章内容的全文检索,考虑集成es,使用es的分词功能,实现站内的全文检索。 安装elasticsearch 官网下载es压缩包,解压之后配置config中的yml文件: cluster.name: legolas node.name: node-1 http.port: 9200 # transport.tcp.port: 9300 集群节点使用端口 network.ho... 阅读详情

相关推荐

STM32无线遥控小车的设计

基于SPI通信的无线摇杆小车的设计

weixin_69414084的博客 2927

Elasticsearch Head插件应用及IK中文分词

IKAnalyzer扩展配置ylup.dic

清沙 606

ANSYS Fluent热边界条件避坑指南:为什么你的自然对流计算结果总出错?

本文深入剖析了在ANSYS Fluent中进行自然对流仿真时,导致计算结果出错或发散的核心原因与解决方案。重点解析了重力项与操作密度设置、Boussinesq与不可压缩理想气体模型的抉择、以及压力离散格式(推荐Body Force Weighted)这三大关键雷区,并结合电子机箱散热等实战案例,提供了一套稳定可靠的仿真设置流程与调试技巧。

weixin_28396629的博客 740

ElasticSearch IK分词器基于mysql实现热更新词库

文章目录安装的是elasticsearch7.1.1打包jdk 环境配置测试常见问题解决 文档转载自: 采坑解决方案https://blog.youkuaiyun.com/hqd1870299/article/details/106660017/ ik源码修改参考:https://blog.youkuaiyun.com/Sterry_Gong/article/details/112347256 安装的是elasticsearch7.1.1 从https://github.com/medcl/elasticsearch-analys

qq_24223159的博客 1239

基于osgEarth的二维态势中时变对象的绘制方法

在态势系统中,卫星、飞机的轨迹、覆盖等的几何数据随时间改变,称之为时变对象。在以OSGEarth实现的二维态势中,如果利用OSGEarth的预定义线、面类型处理这种几何数据的动态改变,则导致效率极具降低。介绍了此问题并给出解决技巧。

eyepeak的博客 2090

OpenCV+ArUco实战:如何用Python实现高精度二维码测距(附完整代码)

本文详细介绍了如何使用Python和OpenCV实现基于ArUco标签的高精度单目视觉测距。通过相机标定、标签检测和三维位置估算,结合完整代码示例,帮助开发者在机器人导航、工业自动化等场景中实现厘米级距离测量,并探讨了精度优化与三维可视化等进阶应用。

weixin_29052717的博客 475

es修改IK分词器源码 mysql热词动态更新(报错解决x3)

最近在公司遇到的一个问题,给elasticsearch配置ik热部署mysql词库。 我是参照下面这个博客来做的 https://www.cnblogs.com/xiaoxiaoliu/p/11218109.html 但是按照这个做就会报下面这个错误 [2021-08-11T11:27:53,515][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] [DESKTOP-0PKSCKK] fatal error in thread [elasticsear

BLADCS的博客 1542

11.Labview实现用户界面切换的几种方式---通过VI间相互调用

本文介绍了界面切换的几种方式,分别是重入和引用①重入方式可以通过调用子VI的方式打开被调用的界面,往往应用于弹窗等的设置程序。②引用方式分两种,一种是打开引用,一种是静态引用。区别在于打开引用需要设置被打开VI的目标地址,静态引用仅需在引用时绑定VI的位置即可。③推荐使用静态引用的方式切换界面。④使用引用打开界面时,需通过属性节点和调用节点来设置程序的状态。更多内容欢迎大家补充和留言讨论~本文介绍了GUI界面设计相关的程序,更多相关文章后续持续更新,请关注作者不迷路~本期就到这里,再见~

关注我,更多技术问题欢迎私聊~ 9544

ik分词器连接mysql热 连接不上mysql问题

在配置好ik后,打包放到plugin目录下,运行es,日志如下 很明显错误链接不上mysql,我那个在idea上把loadMySQLExtDict运行了一下,结果居然能访问到mysql,现在这个情况应该就是,在idea上能跑,但把他放到es的plugin/ik下,它跑不了,明明参数都获取到了,端口防火墙也开了,为啥es访问不到mysql呢? ...

MRzhenglea的博客 818

LSTM 深度解析从原理推演到现代序列建模的演进

LSTM(Long Short-Term Memory,长短期记忆网络)是一种特殊的递归神经网络(RNN),它通过引入记忆单元(Cell State)来解决普通RNN在长序列数据处理中的梯度消失问题。LSTM可以在长时间的序列中捕捉依赖关系,是一种非常适合处理时间序列、自然语言处理、语音识别等任务的深度学习模型。在LSTM中,记忆单元(Cell State)是一个贯穿整个序列的数据通道,用于存储和传递关键信息。记忆单元在LSTM的时间步之间保持信息的持久性,可以看作是一个长期记忆的“容器”。

hello.reader 3万+

AgentScope 实战训练营-构建元规划智能体(Meta Planner Agent)—— 从 0 到 1 完整实现

本文介绍了基于AgentScope框架开发的元规划智能体(Meta Planner Agent)系统。该系统通过任务拆解和子代理编排机制,实现复杂任务的自动化处理。核心架构分为用户层、规划器层和子代理层,其中规划器作为"项目经理"负责任务分解、创建子代理并协调执行流程。关键技术包括AgentScope多智能体框架、DashScope大语言模型、PlanNotebook计划管理工具等。

program哲学 358

Elasticsearch的安装及使用,这一篇就够了

Elasticsearch的安装及使用,这一篇就够了

qq_38055805的博客 7969

从误检率30%到99.7%:YOLOv8/v9工业零件缺陷检测实战(附产线部署全流程与参数调优秘籍)

工业场景YOLO实战:从实验室到车间的关键调优策略 本文针对工业缺陷检测的特殊性,系统总结了YOLOv8/v9在工业应用中的实战经验。通过齿轮厂缺陷检测案例,揭示了实验室模型与工业场景的三点本质差异:小目标特性(0.2-1mm缺陷)、复杂背景干扰(油污/反光)和数据量不足问题。重点提出了工业级解决方案:1)数据采集需覆盖极端工况(不同光照/污染/角度);2)标注采用LabelStudio+预标注提升效率;3)定制工业增强策略(反光模拟/缺陷复制粘贴)。文章还提供了完整的参数调优记录和TensorRT加速部署

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1733

Elasticsearch 的使用Demo

** Elasticsearch 的使用Demo ** Elasticsearch项目地址: https://github.com/looly/elasticsearch-definitive-guide-cn http://git.oschina.net/loolly/elasticsearch-definitive-guide-cn 1. 安装Elasticsearch 唯一的要求是安装官方新...

Jo的博客 8393

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

十次方——ElasticSearch

一 ElasticSearch简介 Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引...

哈喽羊 385

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

分布式搜索引擎ElasticSearch

分布式搜索引擎ElasticSearch学习目标:1 ElasticSearch简介1.1 什么是ElasticSearch1.2 ElasticSearch特点1.3 ElasticSearch体系结构2 走进ElasticSearch2.1 ElasticSearch下载、部署、与启动安装配置:2.2 Postman调用RestAPI2.2.1 新建索引2.2.2 新建文档2.2.3 查询全部...

勇哥V587 1060

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Elasticsearch7.9集群部署,head插件,canal同步mysql数据到es,亲自测试,无坑

Elasticsearch集群部署 1、服务器规划 10.4.7.11 node1 10.4.7.12 node2 10.4.7.13 node3 #三台都要执行初始化配置 [root@localhost ~]# vim /etc/sysctl.conf vm.max_map_count=655360 net.ipv4.tcp_syncookies=1 net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_fin_timeout=.

fengge55的博客 2593

第十一天 黑马十次方 Elasticsearch的特点及体系结构、Elasticsearch安装、Head插件安装、IK分词器的安装、SpringDataElasticsearch、logstash

第4章-分布式搜索引擎ElasticSearch 学习目标: ** 了解Elasticsearch的特点及体系结构 完成Elasticsearch安装,能够调用RestAPI完成基本增删改查操作 完成Head插件安装,熟悉Head插件的基本使用方法 完成IK分词器的安装,能够使用IK分词器进行分词 使用SpringDataElasticsearch完成搜索微服务的开发(重点) 使用logstash完成mysql与Elasticsearch的同步工作 完成Elasticsearch在docker下的安装**

qq_17023977的博客 315

JavaEE:Elasticsearch安装与使用

说明: 基于Lucene的搜索服务器,分布式搜索引擎,基于RESTful web接口。 一、安装/运行Elasticsearch服务器: 1.下载Elasticsearch压缩包(此处下载WINDOWST版本),并解压到D:\Program Files\elasticsearch-7.8.0: https://www.elastic.co/cn/downloads/elasticsearch 2.运行Elasticsearch服务器: (1)打开CMD命令行工具,cd到elasticsearc

a526001650a的专栏 834

Day9.ElasticSearch

一、引言 什么是ElasticSearch? Elasticsearch是一个实时的分布式搜索和分析引擎。区别与Solr,它本身就是分布式的。ElasticSearch是一个基于Lucene的搜索服务器。 ElasticSearch特点? (1)可以作为一个大型分布式集群(数百台服务器)技术,处理PB级数据,服务大公 司;也可以运行在单机上 (2)将全文检索、数据分析以及分布式技术,合并在了一起...

大竹薙子与豆子 的个人博客 231

十次方社交系统 第4章-分布式搜索引擎ElasticSearch

学习目标: 了解Elasticsearch的特点及体系结构 完成Elasticsearch安装,能够调用RestAPI完成基本增删改查操作 完成Head插件安装,熟悉Head插件的基本使用方法 完成IK分词器的安装,能够使用IK分词器进行分词 使用SpringDataElasticsearch完成搜索微服务的开发(重点) 使用logstash完成mysql与Elasticsearch的同步工作 完...

kai46385076的专栏 370

第4章-ES与消息中间件RabbitMQ

第4章-ES与消息中间件RabbitMQ 学习目标: 了解Elasticsearch的特点及体系结构 完成Elasticsearch安装,能够调用RestAPI完成基本增删改查操作 完成Head插件安装,熟悉Head插件的基本使用方法 完成IK分词器的安装,能够使用IK分词器进行分词 使用SpringDataElasticsearch完成搜索微服务的开发(重点) 使用logstash完成mysql与Elasticsearch的同步工作 完成Elasticsearch在docker下的安装 能够说出消息队列

weixin_43544588的博客 2653

【ElasticSearch】01.分布式搜索引擎ElasticSearch

目录分布式搜索引擎ElasticSearch1. 简介2. 特点3. 体系结构(逻辑结构)4. ES安装5. 调用RestAPI完成基本增删改查操作6. Head插件(操作ES的图形化界面)的基本使用7. IK分词器8. es与mysql数据同步8.1 logstash9. 在虚拟机中docker中安装 分布式搜索引擎ElasticSearch 1. 简介 一个实时的分布式搜索和分析引擎 快速处...

剑翊乾坤 459

十次方后台系统开发(4)

分布式搜索引擎ElasticSearch 了解Elasticsearch的特点及体系结构 完成Elasticsearch安装,能够调用RestAPI完成基本增删改查操作 完成Head插件安装,熟悉Head插件的基本使用方法 完成IK分词器的安装,能够使用IK分词器进行分词 使用SpringDataElasticsearch完成搜索微服务的开发(重点) 使用logstash完成mysql与Elasticsearch的同步工作 完成Elasticsearch在docker下的安装 1 ElasticSear

魔法革1996 377
上一篇: MongoDB具体使用(30s速学篇)
下一篇: 【linux】解决设置CentOS7虚拟机使用静态IP的常见错误解决方案
W_Think
博客等级 码龄6年 3022粉丝 72原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值