阿里云mysql同步elastic

Mysql 同步数据到 Eleasticsearch

阿里云mysql同步数据到elasticsearch,废话就不多说了,后面多说点,实在搞不清楚我想干啥,就从后面先看吧!

1. 登录阿里云账号A(该账号为数据源mysql的账号),进入访问控制页面:https://ram.console.aliyun.com/,
创建一个角色,并绑定elasticsearch对应的阿里云账号B

在这里插入图片描述
在这里插入图片描述

2. 对角色进行授权,免得麻烦我选择“全部授权”(有洁癖小伙伴随意)!
坑点:授权完成之后,仍然要点击“管理”,按照下面第三张图按照固定格式添加“Service”:B账号@dts.aliyuncs.com

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 登录B账号,购买“数据传输服务” https://dts.console.aliyun.com/。
因为我只想迁移一次数据,所以选择按量付费,迁移后,马上“释放传输”,费用就会比较少!

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这里重点强调下,账号ID填写 A账号,角色为:A账号下刚才创建的角色,点击下箭头,会自动搜索A账号下的mysql实例,搜索到后,会要求填写用户名、密码等。目标实例就是当前(B账号)下的es资源,然后就一直下一步直到完成就可以进行数据传输了!

在这里插入图片描述在这里插入图片描述

4. 验证结果:根据mysql数据表名在kibana下查询对应索引,得到对应结果即成功!

在这里插入图片描述

在这里插入图片描述

故事背景

有一段时间么有用ES了,想练习一下,无奈数据在mysql中,于是考虑了一下三种方案:
1 通过es 的 API 将数据从mysql迁移到es(慢,自我感觉)
2 通过logstash传输(服务器是腾讯云的,es在阿里云B下,mysql在阿里云A下,折腾起来有点麻烦)
3 利用阿里云的数据传输服务(最菜的菜鸟才用的方法)

总结:原理其实就是A账号下创建一个角色并绑定B账号,让B账号以A账号(管理员or子用户)的身份在数据源取数据,然后存储在目标实例中。 日常工作很忙,偶尔想做些事情(实验or练习),时间非常宝贵,为了主要目标,适当花点小钱节约时间还是挺不错的,除非是要专门学习elk全部内容。

创建了一个技术闲聊群:有兴趣可加我微信,拉你一起讨论杂七杂八的技术,虽然大家都不怎么活跃!
加好友备注:你的博客名 && 随便给我的任意文章点个赞或留言
在这里插入图片描述

MySQL 是一种常用的关系型数据库,而 Elasticsearch 是一种为搜索和分析而设计的分布式全文搜索引擎。当需要将 MySQL 中的数据同步Elasticsearch 中时,我们需要考虑以下几个选型方案。 1. 使用开源工具:有一些开源工具可以帮助我们实现 MySQLElasticsearch同步,如Logstash、Debezium等。这些工具可以通过配置文件和插件的方式来实现数据同步和转换。它们具有较好的可扩展性和灵活性,但配置和维护相对较复杂。 2. 自行开发同步程序:如果有足够的开发资源和技术能力,可以自行开发同步程序。通过连接 MySQL 的数据源,监控和捕获数据库变更事件,并将变更数据转换为 Elasticsearch 的文档格式进行索引。这种方式可以更加灵活地根据业务需求进行定制化开发,但需要自行处理一些细节问题,如数据一致性和性能优化等。 3. 第三方商业工具:市面上也有一些商业工具可以实现 MySQLElasticsearch同步,如阿里云的DataX、Talend等。这些工具提供了相对成熟和稳定的解决方案,并且有一定的技术支持。它们通常提供了更多的功能和易用性,但需要根据具体的需求和预算来选择合适的工具。 在选择合适的方案时,需要考虑以下几个因素: 1. 数据同步的实时性:根据业务需求确定数据同步的实时性要求,选择相应的工具或方案。 2. 数据量和性能要求:考虑数据量的大小和性能要求,选型时需进行性能测试和评估,选择性能较好的工具。 3. 维护和运维成本:考虑工具的配置和维护的复杂度以及对运维资源的需求,选择适合的选型方案,以降低维护和运维成本。 4. 其他需求:如数据的安全性、数据格式的转换、过滤条件的处理等,根据项目的具体需求选择适合的选型方案。 综上所述,MySQL 同步Elasticsearch 的选型需要根据具体的需求和条件来选择合适的方案,权衡各个因素,在实践中找到最适合的解决方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值