LogStash手动全量导入MySQL数据到ES只有一条问题解决

最新推荐文章于 2025-09-10 16:16:37 发布
原创 最新推荐文章于 2025-09-10 16:16:37 发布 · 3.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #mysql #大数据

本文探讨了使用Logstash从MySQL导入数据至Elasticsearch时遇到的问题，即大量数据仅显示为一条记录的原因及解决方案。问题根源在于配置文件中的document_id设置不当，导致数据重复导入时被覆盖。

最近在捣鼓ES，使用的是Elasticsearch Head来可视化数据。在通过Logstash 从MySQL中导读数据到ES的时候，明明好几万的数据最后却只有显示一条：

在这里插入图片描述
显示只有一条
在这里插入图片描述

这是logstash配置文件
在这里插入图片描述

后面发现原来是配置中的 document_id的原因，导致每次导入的数据都会被覆盖，以至于只有最后一条数据得以保留。而仍会显示占用很大的内存是因为ES删除数据不是实时同步的。将上述配置去掉之后就能够正常显示了：
在这里插入图片描述

Canal全家桶+MySQL+Elasticsearch+Kibana全量+实时增量收取数据
作者的博客园已搬家到优快云，访问博客园主页将默认跳转至优快云
11-16 2828
文章目录Canal全家桶+MySQL+Elasticsearch+Kibana二进制方式部署1.准备环境1）服务部署规划2）下载包3）创建服务父目录4）配置服务快速启动别名5）数据库创建账号并授权6）安装Java环境2.Canal-server1）解压2）配置3）启动3.Canal-adapter1）解压2）配置3）启动4.Canal-admin5.安装Elasticsearch1）解压2）配置3）启动6.安装Kibana1）解压2）配置3）启动4）创建索引8.插入数据并测试1）建库2）建表3）插入数据4）
使用7.4以上版本logstash将mysql中的数据同步到es，遇到种种坑，启动logstash直接shutdown，或者启动了es只有一条数据等等
水镜先生的博客
04-03 8298
为什么要这样同步到es查es而不直接去查mysql呢？？？？其实原因很简单，就是为了减少mysql的压力，比如说我现在业务需要查一个看课历史，这个看课历史总是导致慢sql或者同一时间总是调用很多，导致mysql的cpu总是很高，这个时候就可以使用logstash将数据同步到es中，直接从es中查数据 废话不多说开始配置 1.首先使用以下命令安装logstash brew install logst...
Logstash同步MySQL数据到ES
weixin_43871079的博客
11-21 492
1.1 什么是Logstash？Logstash作为一个具备实时流水线功能的开源数据收集引擎，拥有强大的能力。它能够从不同来源收集数据，并将其动态地汇聚，进而根据我们定义的规范进行转换或者输出到我们定义的目标地址。1.2 Logstash的主要特点Logstash通过清洗和使数据多样化，Logstash使数据变得适用于各种高级下游分析和可视化用例。此外，Logstash提供广泛的输入、过滤器和输出插件，而且许多本地编解码器进一步简化了数据摄取的过程。
logstash同步mysql到es丢失_MYSQL logstash 同步数据到es的几种方案对比以及每种方案数据丢失原因分析。...
weixin_39936134的博客
01-27 2620
MYSQL logstash 同步增量数据到ES最近一段时间，在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失。logstash-jdbc无非是通过sql遍历数据表的所有数据，然后同步到es。对于表里面的所有字段都需要查出来然后同步到es中去。本地测试数据表结构如下: CREATETABLE`user`(`id`bigint(20)NOTNU...
Logstash同步数据库到ES，以及踩坑记录
龙喵先森的博客
04-28 6715
前言 前段时间搭建了Elasticsearch 和 Kibana，顺手把Logstash给装了，这篇文章是把我在用Logstash同步数据库数据到ES中遇到的问题记录下来 准备 一个至少装有 Elasticsearch 和 Logstash 的主机 同步准备 创建一个存放配置目录，并新建一个 jdbc.sql SQL文件，写入需要同步的SQL并保存 jdbc.conf (mysql) inp...
logstash同步mysql数据失败
weixin_34226182的博客
03-20 747
问题描述 前提： 项目采用Elasticsearch提供搜索服务，Mysql提供存储服务，通过Logstash将Mysql中数据同步到Elasticsearch。 问题： 使用logstash-jdbc-input插件同步Mysql中的两张表时，一张表的数据完整的存到了ES中，而另一张表没有任何数据插入 原因分析 1、查询语句错误，将语句放入命令行中查询，查询成功，排除 ...
【面试】Elasticsearch 实战面试问题
最新发布
09-10 1191
7.x 以后用 ILM（Index Lifecycle Management）自动管理索引滚动。：日志索引每天建一个，1 年后有 365 个索引，管理困难。调整 ES 堆大小（推荐 50% 内存，<=32G）。：用户搜索“北京大学”，结果却包含“北京 大学 城”。：创建索引时设了 50 个分片，导致节点内存消耗大。：升级 ES 7.x 后，部分 5.x 索引报错。：用户反馈搜索接口经常超时，尤其在大分页查询时。：报表系统需要统计用户行为，ES 经常 OOM。：100GB 原始数据，ES 占用 500GB。
搜索引擎：ElasticSearch+Logstash+Node.js+Vue+ElementUI+Axios
weixin_44730965的博客
03-06 1万+
搜索引擎：ElasticSearch+Logstash+Node.js+Vue+ElementUI+Axiosnode.js安装安装搭建Vue项目功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特...
【从0到1学Elasticsearch】Elasticsearch从入门到精通（上）
shenqibaobao的博客
04-13 1455
黑马商城作为一个电商项目，商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的，存在很多问题。首先，查询效率较低。由于数据库模糊查询不走索引，在数据量较大的时候，查询性能很差。需要注意的是，数据库模糊查询随着表数据量的增多，查询性能的下降会非常明显，而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显，如果数据量达到百万、千万、甚至上亿级别，这个性能差距会非常夸张。
ElasticSearch知识概括
weixin_41005188的博客
12-29 1697
ElasticSearch知识概括
mysql数据，通过logstash同步到elasticsearch，数据丢失
随风飘流的博客
12-20 2612
测试同学反馈，某业务商品数据查询不到，但数据库里面存在。 我们商品数据，从es中查询的。通过logstash，将mysql里面的数据同步到es中。 查看了下es中，该数据确实不存在。 重新构建index 然后做了一次全量数据同步，发现es中的数据总量低于mysql中数据源的数据总量。 原因： sql有问题。数据查询sql，未指定排序。使用的默认排序，库表使用的InnoDB引擎。 当数据发生del...
logstash 接入Mysql 数据库表
daicooper的博客
03-01 3291
mysql 作为成熟稳定的数据持久化解决方案，广泛地应用在各种领域，但是在数据分析方面稍有不足，而 elasticsearch 作为数据分析领域的佼佼者，刚好可以弥补这项不足，而我们要做的只需要将 mysql 中的数据同步到 elasticsearch 中即可，而 logstash 刚好就可以支持，所有你需要做的只是写一个配置文件而已 logstash 获取 wget https://art...
通过logstash将数据导入mysql
u011311291的博客
02-01 4782
1.确保已经安装logstash 其实解压安装包就行 2.安装logstash-output-jdbc插件 在线安装: bin/logstash-plugin install logstash-output-jdbc 离线安装: 3.再装JDBC插件依赖，mysql-connector-java-5.1.47.zip 解压mysql-connector-java-5.1.47.zip 在logst...
Logstash——Logstash将数据推送至Elasticsearch
大风的博客
05-25 1万+
elasticsearch介绍 在使用云日志管理的时候，logstash的数据最终需要elasticsearch来进行存储和分析。所以logstash提供大量参数来支持和满足相关业务场景。 可配置参数 字段 参数类型 说明 action string 要执行的Elasticsearch动作 api_key password 使用Elasticsearch API密钥进行身份验证,需要启动SSL bulk_path string 执行_bulk请求的HTTP路径 cacert a
logstash同时给多个索引导入数据(从多个数据表)
兰先生的博客
03-30 2403
通过配置可以实现一个logstash实例同时给多个索引导出数据
logstash导入数据到Elasticsearch踩过的坑详解
热门推荐
铁柱的博客
04-16 2万+
一、前言       这篇主要记录在导入数据时候踩到的坑，这些坑总共花费我小一天的时间，记录一下。 二、正文 1、logstash显示在导入数据，ES也成功新建了索引，但是没数据       最开始遇到的是这个坑，logstash的输入框就僵住了，博主以为在导入数据呢，等了半天，...
Logstash同步mysql一对多数据到ES（踩坑日记系列）
qq_28834355的博客
09-21 2951
场景： Logstash 、Kibana、ES版本：6.3.1。 使用Logstash从mysql同步用户和用户所有的宠物到ES中。 希望的格式： "register_name": "孟林洁", "id": 80469531, "pets": [ { "breed_name": "万能梗", "birthday": null, "pet_id": 999044, "name": "一只狗", "ima
Flink 替换 Logstash 解决日志收集丢失问题
字节跳动云原生计算官方账号
11-23 1257
ELKibana，功能涵盖了从日志收集、解析、查询、分析、可视化等完整的解决方案。上图描述了 ELK 里各组件的关系，基于 libbeat框架的各种 beats 工具将日志及各种数据进行收集，可以直接写入 ES，也可以先写入到 Logstash 进行解析和处理再写入到 ES。如下图所示，Logstash 主要包括三个部分：输入插件：负责从各种不同的 source 读取数据，如文件、beats、Kafka等；
通过logstash实现es数据同步至mysql数据库-简单插入数据测试
upward
04-25 711
通过logstash实现es数据同步至mysql数据库-简单插入数据测试
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值