使用阿里云Logstash，从自建es6.2.4迁移数据至云ES7.10测试

已于 2023-11-16 19:19:46 修改
阅读量370 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 自建ES6.x切阿里云商业版ES7.10 文章标签： 阿里云 es6 elasticsearch
于 2023-11-16 19:15:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hardworking0323/article/details/134448831
本文档详细介绍了如何使用阿里云Logstash服务从自建的ES6.2.4版本迁移数据到云上的ES7.10版本。内容包括购买Logstash服务、配置管道、数据迁移验证以及迁移过程的监控。通过配置Logstash的document_id避免数据重复，并监控数据传输速度，确保迁移的顺利进行。

一、购买阿里云Logstash服务

  • 4C16G 40G 高效云盘
    在这里插入图片描述
    在这里插入图片描述

二、配置管道

2.1 配置启动管道前置工作

  • logstash要通源端ES网络及http端口，且加白
  • logstash要通目标端ES网络及http端口，且加白
  • 目标端ES加配置自动创建索引
  • 配置管道前先安装 logstash-output-file_extend插件
  • 目标云ES7.10要放开自动创建索引配置
  • 配置好索引模板
  • 从自建ES6.2.4把ES数据迁移至云ES7.10后，索引别名没有，需要手动创建

例：

POST /_aliases
了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用logstash迁移es数据
杂货铺子
05-10 4049
这两天需要将 ES 集群中的一个索引迁移到另一个集群中，使用 logstash 来完成这次索引数据迁移的任务。两个 ES 集群的版本都是 7.4.2 版本，首先创建一个 logstash 任务文件，名称为 migrate.conf 内容如下： input{ elasticsearch{ index => "source-index-000095" hosts => ["10.16.12.206:9202","10.16.12.207:9202","10.16.12.208:9202",
logstash系列一使用logstash迁移ES数据
weixin_34290352的博客
05-21 1739
es的文档id生成方式可以是 自动的uuid，也可以是自定义的id，可以用业务中的id字段进行映射 自动的id，URL安全，base64编码，GUID，如下： POST /test_index/test_type { "test_content": "my test" } 手动的就靠自己定义 PUT /test_index/test_type/2 { "t...
elasticsearch数据迁移之logstash
菜鸟运维升级之路
11-04 3140
通过第五章内容，我们了解到了elasticdump工具只适合es数据量较小，且索引不是很多、很多的情况下适用，即大部分情况用于备份单个索引。但是在实际生产环境中，迁移整个es集群数据的次数也很多，因此elasticdump就很不适用，如果强硬使用还会导致服务器磁盘IO及CPU过高,容易产生告警，所以本篇文章再给大家推荐一个适用于生产环境的迁移工具logstash。本次分享的logstash迁移方法,最重要的一点就是源es和目标es网络要互相通，如果不通，这种方法会迁移失败。
Elasticsearch通过Logstash迁移数据
qq_31464633的博客
05-23 1051
使用 Elasticsearch 7.12.1 通过 Logstash 7.12.1 迁移数据，可以将数据从一个 Elasticsearch 集群迁移到另一个集群，或从其他数据源（例如数据库）导入到 Elasticsearch 中。
阿里云Docker安装ES\ES_Head\安装部署logstash导mysql数据入ElasticSearch
javaScript1997的博客
06-13 720
阿里云服务器Docker安装ES\ES_head\安装部署logstash,并导mysql数据到ES
Elasticsearch快速初始化数据
neweastsun的专栏
02-28 2636
设置分片和刷新间隔参数 实际应用中需要给Elasticsearch初始化数据，当数据量比较大时我们希望能够快速载入。可以给索引设置两个参数。 index.refresh_interval : 多长时间执行一次刷新操作，即使索引最近的更改在搜索中可见。缺省为1s，设置为-1则禁用刷新。 index.number_of_replicas : 每个主分片的副本数量，默认为1。可以设置为0，即没有副本。 上面两个参数设置可以更快索引，但短时间如果任何分片丢失会导致数据丢失的风险。因此，一旦初始化数据完成即刻设置回默
Logstash：迁移数据到 Elasticsearch
Elastic 中国社区官方博客
01-10 1644
在生产环境中，不使用 Apache Kafka 等流平台进行数据迁移并不是一个好的做法。在这篇文章中，我们将详细探讨 Apache Kafka 和 Logstash 的关系。但首先让我们简单了解一下 Apache Kafka 的含义。Apache Kafka 是分布式流平台，擅长实时数据集成和消息传递。Kafka 架构不复杂且直接。生产者将给定主题的数据发送到 Kafka Broker；Kafka 集群包含一个或多个 broker，用于存储从生产者接收到的消息，订阅 Kafka 主题的消费者将接收数据。
使用logstash迁移ES数据并解决限流等问题
valsong的专栏
03-29 1340
介绍logstash如何迁移ES的索引，同时解决一些常见的问题例如限流等
elasticsearch7的二进制部署及索引从6.8迁移至7.17
qq_37256882的博客
01-11 1251
本文介绍es7的二进制部署，及跨es集群的索引迁移。
Logstash 迁移索引元数据（设置和映射）
勿忘初心
10-29 700
【代码】【无标题】
Logstash输出插件：LogService使用教程
gitblog_00038的博客
08-07 985
Logstash输出插件：LogService使用教程 logstash-output-logservice项目地址:https://gitcode.com/gh_mirrors/lo/logstash-output-logservice 项目介绍 Logstash-output-logservice 是一个用于将数据输出到阿里云日志服务（LogService）的Logstash插件。该插件允许...
OpenSearch安装教程
最新发布
q704013673的博客
11-28 2585
打开另一个终端会话并向服务器发送请求以验证 OpenSearch 是否正在运行。打开另一个终端会话并向服务器发送请求以验证 OpenSearch 是否正在运行。OpenSearch 是一个开源的、分布式的、RESTful 风格的搜索和分析引擎。使用安全演示配置运行 OpenSearch 启动脚本。增加 OpenSearch 可用的内存映射数量。更改为 OpenSearch 安装的顶级目录。，这是必需的，因为 TLS 证书是自签名的。禁用主机上的内存分页和交换性能以提高性能。向端口9200发送请求。
利用logstash 迁移mysql千万级数据到 es
ડUN的博客
07-17 2670
最近项目需求需要将mysql 3000W数据同步到ES中 本人利用ES官方文档中提到的logstash完成此次数据同步 input { stdin {} jdbc { #mysql的jdbc连接工具jar包 jdbc_driver_library => "D:\JavaMaven\maven_jar\mysql\mysql-connector-java\8.0.25\mysql-connector-java-8.0.25.jar" #jdbc驱动类全类名 jdbc
【云上ELK系列】Logstash迁移Elasticsearch数据方法解读
weixin_34358092的博客
12-08 492
Elasticsearch中数据搬迁是工程师们经常会做的，有时是为了集群迁移、有时是为了数据备份、有时是为了升级等等，迁移的方式也有很多种，比如说通过elasticsearch-dump、通过snapshot、甚至是通过reindex的方式来做。今天为大家介绍另一种方案：用Logstash实现Elasticsearch集群快速迁移 我们希望通过logst...
elasticserach7.x使用logstash 迁移记录
软件工程师-人才储备
11-18 1400
文章目录一、创建Mapping二、创建logstash配置文件三、执行命令四、问题总结 一、创建Mapping mapping必须和原来旧服务器上的一样 二、创建logstash配置文件 在新服务器上带有logstash的目录下配置名称migrate.conf 内容如下所示: input{ elasticsearch{ hosts => ["旧服务器地址:9200"] user => "elastic旧服务器账号" password => "旧服务器密码" i
logstash分批次同步大量数据
周振伟的博客
06-10 9718
问题：用logstash同步mysql数据到elasticsearch，原始数据有几千万条，发现过了几十万条之后，到了后面同步就特别慢，无法完成同步原因： statement => "select * from t_wechat_message where id > :sql_last_value"logstash配置文件中会配置同步时需要执行的sql，sql_last_value是内...
轻松搞定实时分析及监控大屏
weixin_34037515的博客
02-08 1785
通过最佳实践帮助您实现上述案例效果 Step1：数据准备 数据格式如下： $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent"$http_referer" "$http_user_agent" [unknown_content]; 主要字段说明如下： ...
Logstash-数据收集、解析和转存
wolfcode_cn的博客
09-03 3542
本文作者：罗海鹏，叩丁狼高级讲师。原创文章，转载请注明出处。 前言 最近这几年，大数据一直都是很热门的话题，很多人会顾名思义的觉得，大数据就是你现在手上有大量的数据。从某个层面上来看，这确实是这样的，但是所谓的大数据不仅仅只是有一堆的数据在这，更重要的是我们要如何解析这堆数据，让它变成有意义或者说有参考价值的数据。而我们知道，在我们应用运行的过程中会产生大量的日志文件，做开发的人都知道，这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有恒则成

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值