Windows环境利用Elasticsearch+Kibana+Logstash搭建搜索引擎并实现实时同步MySQL数据，超详细步骤

最新推荐文章于 2023-09-21 14:17:52 发布

原创

最新推荐文章于 2023-09-21 14:17:52 发布 · 6.1k 阅读

47 ·

CC 4.0 BY-SA版权

文章标签：

#Elasticsearch #Kibana #Windows #Mysql #Logstash

本文详述了在Windows环境中配置JAVA环境，然后逐步安装Elasticsearch、Kibana和Logstash，实现与MySQL数据库的实时同步。通过Logstash的JDBC输入插件连接MySQL，将数据导入Elasticsearch，并通过Kibana进行管理和调试。最后，文章指出，Kibana的Dev Tools是学习和调试ES请求的好地方。

背景：博主在做的一个项目是wamp环境下的电商平台，其搜索方式为sql查询，效率低下，准确率也非常感人，所以就尝试着在Windows环境下搭建一套搜索引擎，经过多方查阅，发现Elasticsearch（简称ES）是一个比较好的搜索引擎，也支持JDBC与MYSQL对接，并可以利用RESTful API CURL方式提供搜索服务，独立性强，扩展性好，于是就决定用它来做开发了。

Step 1：Windows下的JAVA环境配置

首先：下载JDK。
然后，按照自己的系统环境安装JDK，网上很多教程，这里就略过了。顺便说一句Elasticsearch至少需要java8，官方建议高于1.8.0_131。这里也不建议安装java10，不然你有可能会遇到这样的bug。

Unrecognized VM option 'UseParNewGC' 
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

博主装的是jdk-8u181-windows-x64.exe。
安装的时候还有两个坑

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

somethingw

关注关注

7
点赞
踩
47

收藏

觉得还不错? 一键收藏
9
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

mysql数据通过Kibana实时展示

weixin_53209289的博客

07-28

757

需要注意的是，MySQL中的数据需要通过定期同步或者实时同步的方式导入到Elasticsearch中，才能在Kibana中进行实时展示。Logstash是一个开源的数据收集、处理和传输工具，它可以从多种数据源获取数据，并将数据转换和传输到目标存储或分析系统。通过以上步骤，Logstash可以将MySQL中的数据实时传输到Elasticsearch，再通过Kibana进行实时展示和分析。Logstash介绍。

（elk）Elasticsearch+Logstash+Kibana在ubuntu下安装配置及检验

cuixuange的博客

10-12

1758

新手一枚，在windows，xshell+putty远程登录linux虚拟机，虚拟机上的ubuntu，全部装上了这三种软件，为后面的日志分析做一点基础准备吧。在这里面的配置过程中也遇到了几个问题，在文章后面会提到，也学习了不少新东西，这两天来的收获如下： 1、下载（ELK三个软件+jre环境）不多说了，各种版本找自己合适的就行，官网：https://www.elastic.co/ ，

9 条评论您还未登录，请先登录后发表或查看评论

windows环境下安装logstash同步数据，注册系统服务

qq_41978323的博客

09-21

2298

此方法适用于Windows环境配置logstash，同一个配置文件配置多个管道，并且配置系统服务，防止程序被杀进程。

ELK(elasticsearch+kibana+logstash)搜索引擎(一)：环境搭建

weixin_34148456的博客

04-09

326

1.ELK简介　　这里简单介绍一下elk架构中的各个组件，关于elk的详细介绍的请自行百度 Elasticsearch是个开源分布式搜索引擎，是整个ELK架构的核心 Logstash可以对数据进行收集、过滤，存储到ELasticsearch中 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助...

ELK-(elasticsearch+logstash+kibana)环境搭建

bryce·loski

09-11

9432

# 环境：elasticsearch 2.4.6，kibana4.6.1 ，logstash2.4.0 机器虚拟机IP为：192.168.75.6 安装elasticsearch 更改config目录下的 elasticsearch.yml #集群名称，如果有多个集群，那么每个集群名就得是唯一的 cluster.name: my.elk #节点名称 node.name: node-192.168.75.6 #该节点是否是master，true表示是的，false表示否，默认是true node.master

电商首页搜索（ Elasticsearch + Kibana + logstash+经纬度+距离限制+相距距离）详细教程

weixin_44235190的博客

01-04

461

项目介绍项目为spring boot架构前后端分离版该教程适用一般电商项目首页所有查询话不多说开搞、开搞注意、注意、注意：引入的包要与你的spring boot 版本要一致自己可以去maven仓库查询  <!-- https://mvnrepository.com/artifact/org.springframework.data/spring-data-elasticsearch -...

精选资源

ElasticSearch + Logstash 自动同步mysql数据

01-04

本篇文章将详细介绍如何利用Logstash自动同步MySQL数据库中的数据到Elasticsearch。 **一、Elasticsearch简介** Elasticsearch是一个基于Lucene的搜索服务器。它提供了分布式、全文检索、实时的搜索和分析能力，...

阿里云ECS上使用docker搭建filebeat+kafka集群+zookeep集群+logstash+elasticsearch集群+kibana实现跨主机日志收集系统【四】

seowen的开发小本子

03-06

544

该日志收集系统，是用来收集基于springCloud分布式系统的生产环境。为了方便数据统计和分析，我将日志生成的格式，转化为JSON格式。具体如何生成，稍后另写一篇文章介绍。线上架构流程图：四、安装logstash 1、创建logstash 容器 ------------------------------安装 logstash ---------------------...

Elasticsearch+Kibana+Logstash搭建搜索引擎并每分钟同步MySQL数据

Kenshinbo的专栏

08-06

701

Elasticsearch+Kibana+Logstash搭建搜索引擎并每分钟同步MySQL数据 By rambo 一.下载： 1.elasticsearch下载地址：https://www.elastic.co/cn/downloads/elasticsearch 2.kibana下载地址：https://www.elastic.co/cn/downloads/kibana 3.logstas...

八、使用elasticsearch + kibana + logstash 导入mysql数据和创建索引实

panchang199266的博客

02-11

2311

一、mysql 数据准备因为我的 Mysql 是在windows 上的，所以在windows中要设置 mysql 容许远程访问。关于具体设置参见 mysql如何修改开启允许远程连接 (windows)。本次实践用表：二、kibana中创建索引 PUT booklist { &amp;amp;quot;settings&amp;amp;quot;: { &amp;amp;quot;number_of_shards&am

es mysql 查询效率,ElasticSearch + Kibana + logstash+ik结合springboot代码实现，比较ES和传统Mysql查询效率...

weixin_33001177的博客

03-13

396

在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件开发环境:Win10开发环境:STS简介:本文主要比较传统的Mysql查询和ES查询的效率以及代码实现。另外，使用logstash同步mysql数据也可以直接理解为”数据同步中间件”，也就是ik断词器，例如断词查询是什么，例如:是否属于”我是中国人” “，根据我们的口头描述，实际上可以将其分为” I”，”是”，”中文”...

Elasticsearch、Logstash和Kibana Windows环境搭建(一)

diyujun6099的博客

09-04

425

一、概述ELK官网 https://www.elastic.co ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，...

ElasticSearch + Kibana + logstash+ik结合springboot代码实现，比较ES和传统Mysql查询效率

Lee_SmallNorth的博客

12-23

1242

开发环境：Win10 开发环境：STS 概要：此篇文章主要是传统的Mysql查询和ES查询两种方式的效率比较，以及代码实现，另外使用logstash进行mysql数据的同步也可以直接理解为“数据同步中间件”，还有ik分词器，至于什么是分词器查询，举个例子：假如属于”我是中国人“这几个字，按照我们口语的描述其实可以分为“我”，“是“，”中国人“，”中国“，”人“等待这些吧，但是代码呢只会一个字一...

Kibana（Win/Linux）连接远程Elasticsearch

最新发布

05-16

### 使用 Canal 全家桶结合 MySQL、Kafka、Elasticsearch 和 Kibana 实现全量与实时增量数据同步 #### 1. 方案概述 Canal 是一种高效的数据库 Binlog 解析工具，支持将 MySQL 的变更数据以消息的形式发送到 Kafka 等消息队列中。通过结合 Kafka、Elasticsearch 和 Kibana，可以构建一个高性能、可扩展的数据同步管道，满足全量和实时增量数据同步的需求。 - **MySQL**: 数据源。 - **Canal**: 捕获 MySQL 的 Binlog 日志并将其转换为消息流。 - **Kafka**: 作为消息中间件存储和分发数据变更事件。 - **Elasticsearch**: 存储和查询最终的同步数据。 - **Kibana**: 提供可视化界面展示 Elasticsearch 中的数据。 --- #### 2. 技术选型理由相比其他方案，如 Debezium，虽然它也可以实现类似的 CDC 功能，但由于其需要集成 Kafka 并手动编写消费者代码，增加了系统的复杂性[^1]。而 Canal 提供了更简洁的接口和更高的易用性，适合快速搭建数据同步系统。 --- #### 3. 架构设计整体架构分为以下几个部分： 1. **全量数据初始化**: 使用 Logstash 将 MySQL 的存量数据导入到 Elasticsearch。 2. **增量数据同步**: 借助 Canal 捕获 MySQL 的 Binlog 变更，并通过 Kafka 发送至 Elasticsearch。 3. **可视化展示**: 利用 Kibana 查询和展示 Elasticsearch 中的数据。 --- #### 4. 配置步骤 ##### 4.1 开启 MySQL 的 Binlog 功能确保 MySQL 已经开启了 Binlog 功能，并设置了合适的模式（推荐 ROW 模式）。编辑 `my.cnf` 文件： ```ini [mysqld] server-id=1 log-bin=mysql-bin binlog-format=ROW ``` 验证配置是否生效： ```sql SHOW VARIABLES LIKE 'log_bin'; SHOW MASTER STATUS; ``` 如果返回结果显示 `ON` 或具体的文件名，则说明配置成功[^1]。 --- ##### 4.2 配置 Canal Server 下载并解压 Canal Server 至指定目录，修改核心配置文件 `instance.properties` 来适配您的 MySQL 数据库环境： ```properties canal.instance.master.address=127.0.0.1:3306 canal.instance.dbUsername=canal_user canal.instance.dbPassword=your_password canal.instance.connectionCharset=UTF-8 canal.instance.filter.regex=my_database\\.my_table.* ``` 创建专门的 MySQL 用户并赋予权限： ```sql CREATE USER 'canal_user'@'%' IDENTIFIED BY 'your_password'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal_user'@'%'; FLUSH PRIVILEGES; ``` 启动 Canal Server 并确认服务状态正常。 --- ##### 4.3 配置 Canal Adapter Canal Adapter 负责将 Canal 捕获的 Binlog 数据转发到 Kafka。编辑 `application.yml` 文件，添加以下内容： ```yaml spring: cloud: stream: bindings: input: destination: mysql_changes_topic canal: server: tcp://localhost:11111 kafka: bootstrapServers: localhost:9092 ``` 同时，还需定义好表结构与 Kafka Topic 的映射关系。可以在同级目录下找到 `mapping.json` 文件进行配置[^4]。 --- ##### 4.4 配置 Kafka Consumer 在 Kafka 上消费来自 Canal 的数据并将其实时写入 Elasticsearch。可以通过编写简单的 Java 应用程序或者使用现有的工具（如 Confluent Kafka Connect 插件）来完成这一任务。示例 Kafka Consumer 代码如下： ```java import org.apache.kafka.clients.consumer.ConsumerRecord; public class KafkaToEsConsumer { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "es-group"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props)) { consumer.subscribe(Collections.singletonList("mysql_changes_topic")); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { System.out.printf("Offset = %d, Key = %s, Value = %s%n", record.offset(), record.key(), record.value()); // 将记录写入 Elasticsearch writeToElasticsearch(record.value()); } } } } private static void writeToElasticsearch(String data) { RestHighLevelClient client = new RestHighLevelClient( RestClient.builder(new HttpHost("localhost", 9200, "http")) ); IndexRequest request = new IndexRequest("my_index"); request.source(data, XContentType.JSON); try { IndexResponse response = client.index(request, RequestOptions.DEFAULT); System.out.println(response.status().toString()); } catch (Exception e) { e.printStackTrace(); } finally { try { client.close(); } catch (IOException ignored) {} } } } ``` --- ##### 4.5 使用 Logstash 执行全量数据迁移编写 Logstash 配置文件以从 MySQL 导入全量数据到 Elasticsearch： ```conf input { jdbc { jdbc_driver_library => "/path/to/mysql-connector-java.jar" jdbc_driver_class => "com.mysql.cj.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://localhost:3306/mydb?useSSL=false&serverTimezone=UTC" jdbc_user => "root" statement => "SELECT id, name, age FROM users" } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "users-index" } } ``` 执行命令加载此流程描述符即可触发一次性传输操作[^2]。 --- ##### 4.6 整合 Kibana 展现分析成果最后一步是在 Kibana 中创建新的仪表盘项目，绑定先前设定好的索引名称 (`users-index`)，从而直观查看效果变化趋势图谱等形式呈现出来[^3]。 --- ###