开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2710人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 )(1 2 3 4 5 6群均已爆满,7群400+,开8群9群)
最近忙,更新率低了,今天说说其中的一个原因,最近和业内的ETL方面的更新的技术在进行学习,之前一些ETL的观念在这次的学习中,也彻底被更新了,这是整个的学习过程进行一个记录,每天都是新知识,每天都是崭新的。
在ETL数据传输和数据处理中,我们习惯使用的方法多是Kettle,otter,canal,ogg这样的数据迁移ETL软件。可时代变迁了,再用这些软件在很多场合已经不合时宜了。尤其是短平快的需求下,我实在是没有精力时间去研究这些东西,还要进行数据库对应的配置,而最近赶时髦,用上了云迁移的ETL软件,TapData Cloud,非常神奇的软件,如果要我用一句话来概括,彻底让我了解到现在的ETL是什么样子,或者该是什么样子,和之前的那些傻大笨粗已经毫无关系。
废话不说,马上进行测试。 打开https://tapdata.net/ 网站,点击cloud。
通过这个软件我两分钟内我就配置好了一个从PolarDB 到 PolarDB的数据流复制。
大家见上图数据已经开始进行了同步,非常的便捷,这里我简单的介绍一下,TapData云ETL,这个免费的工具可以干点什么。
1 云免费ETL可以进行各种开源数据库到国产数据库的同步,你知道的国产数据库基本都在支持列表
2 使用者根本不关心配置,因为都是自动的,我可以专心的搞我的数据库,复制的监控和过程都由TapData云来负责。
3 核心的数据不会经过TapData 而是你自建的主机,让使用者完全不用担心数据的安全性的问题。
有了这个功能,基本上数据迁移的过程上步骤
1 云注册账号
2 开通免费的服务
3 安装好agent
4 配置好本地和远程的连接
5 工作完毕
这个服务可以把数据从MySQL , PostgreSQL ,Sql Server, Oracle 往国产数据库搬运,这里需要说明如果是企业性质可以开通收费的服务,他将提供更多的功能,服务等。
这里有官方的付费方式

这里我小声说一句,如果实在是不想花钱,还想要高性能,自己可以用自己的服务器利用TapData管理数据传输,比如我现在就是这么干的,我需要从PolarDB传输数据到另一个PolarDB,数据量不大,TapData可以直接将服务的agent自动安装在我的笔记本上,然后我就开始远程将一个PolarDB的数据,传输到另一个PolarDB上。在默认的情况下,简单的数据传输迁移,TapData是不收费的。

操作界面异常的简单,源目的地,选择连接到你的数据库上,本地,远程,云均可,TapData对于数据库的ETL是“不挑食的”。
关于大部分人可能担心自己安装Agent到服务器上的难度,这里可以看此页面,非常简单,支持 LINUX,WINDOWS,Docker,云上部署服务器等的方式。同时你自己还可以通过云来监控你自己的ETL服务器,可以通过手动来启动自己的服务器的上的ETL服务,这里我简单的画一个图。





在建立好Agent后,我们就可以建立源库和目的库的链接测试了,在测试通过后,就直接可以进行数据库的传输了。



由于过程太简单,我就不叙述了,如同打开冰箱门,把大象塞进去,然后在关上门那么简单,如果我在详细叙述,是对看文章的人的不尊重。
工作到这里,我突然意识到一个问题,在之前各种本地安装,调试,各种问题的ETL的软件的生命历史中,他们意识到现在的ETL软件已经可以云化了吗,作为一个对新产品不拒绝,不挑食的IT工作者,我觉得我在ETL 探索更先进了,这ETL使用的方式太简单了,这里我先看官方文档中详细的一些产品的介绍,看完介绍,在将一些疑问总结起来在和ETL方面的专家进行快速学习。
置顶
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
PostgreSQL 相关文章
PostgreSQL 运维的难与“难” --上海PG大会主题记录
PostgreSQL 什么都能存,什么都能塞 --- 你能成熟一点吗?
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
病毒攻击PostgreSQL暴力破解系统,防范加固系统方案(内附分析日志脚本)
PostgreSQL 远程管理越来越简单,6个自动化脚本开胃菜
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
PostgreSQL 字符集乌龙导致数据查询排序的问题,与 MySQL 稳定 "PG不稳定"
PostgreSQL Patroni 3.0 新功能规划 2023年 纽约PG 大会 (音译)
PostgreSQL 玩PG我们是认真的,vacuum 稳定性平台我们有了
PostgreSQL DBA硬扛 垃圾 “开发”,“架构师”,滥用PG 你们滚出 !(附送定期清理连接脚本)
MongoDB 相关文章
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
数据库 《三体》“二向箔” 思维限制 !8个公众号联合抽奖送书 建立数据库设计新思维
MongoDB 是外星人,水瓶座,怎么和不按套路出牌的他沟通?
17000多张MongoDB表的锅 自动分析删除表数据难题--从头到尾的处理过程(文尾有MongoDB开发规范)
MongoDB 插入更新数据慢,开发问哪的问题?附带解决方案和脚本
MongoDB 挑战传统数据库聚合查询,干不死他们的MongoDB 2023纽约 MongoDB 大会 -- 我们怎么做的新一代引擎 SBE Mongodb 7.0双擎力量(译)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB 双机热备那篇文章是 “毒”
MongoDB 会丢数据吗?在次补刀MongoDB 双机热备
MONGODB ---- Austindatabases 历年文章合集
MySQL相关文章
"DBA 是个der" 吵出MySQL主键问题多种解决方案
MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验
用MySql不是MySQL, 不用MySQL都是MySQL 横批 哼哼哈哈啊啊
MYSQL --Austindatabases 历年文章合集
PolarDB 相关文章
POLARDB 添加字段 “卡” 住---这锅Polar不背
PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)
PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)
PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火星人
PolarDB-MySQL 并行技巧与内幕--(怎么薅羊毛)
PolarDB 并行黑科技--从百套MySQL撤下说起 (感谢8018个粉丝的支持)
PolarDB 杀疯了,Everywhere Everytime Everydatabase on Serverless
POLARDB 从一个使用者的角度来说说,POALRDB 怎么打败 MYSQL RDS
PolarDB 最近遇到加字段加不上的问题 与 使用PolarDB 三年感受与恳谈
PolarDB 从节点Down机后,引起的主从节点强一致的争论
PolarDB serverless 真敢搞,你出圈了你知道吗!!!!
PolarDB VS PostgreSQL "云上"性能与成本评测 -- PolarDB 比PostgreSQL 好?
临时工访谈:PolarDB Serverless 发现“大”问题了 之 灭妖记 续集
临时工访谈:庙小妖风大-PolarDB 组团镇妖 之 他们是第一
PolarDB for PostgreSQL 有意思吗?有意思呀
PolarDB Serverless POC测试中有没有坑与发现的疑问
临时工说:从人性的角度来分析为什么公司内MySQL 成为少数派,PolarDB 占领高处
POLARDB -- Ausitndatabases 历年的文章集合
PolarDB for PostgreSQL 有意思吗?有意思呀
临时工访谈系列
国内最大IT服务公司-招聘DBA “招聘广告”的变化--分析与探讨
OceanBase 相关文章
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)
跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)
跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)
跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)
OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB
临时工访谈:OceanBase上海开大会,我们四个开小会 OB 国产数据库破局者
临时工说:OceanBase 到访,果然数据库的世界很卷,没边
数据库信息速递 阿里巴巴的分布式数据库OceanBase旨在进军中国以外的市场 (翻译)
SQL SERVER 系列
SQL SERVER 如何实现UNDO REDO 和PostgreSQL 有近亲关系吗
SQL SERVER 我没有消失,SQL SERVER下一个版本是2025 (功能领先大多数数据库)
SQL SERVER 2022 针对缓存扫描和Query Store 的进步,可以考虑进行版本升级
阿里云系列
阿里云数据库产品权限设计缺陷 ,六个场景诠释问题,你可以做的更好?
阿里云数据库--市场营销聊胜于无--3年的使用感受与反馈系列
阿里云数据库产品 对内对外一样的卷 --3年阿里云数据库的使用感受与反馈系列
阿里云数据库使用感受--客户服务问题深入剖析与什么是廉价客户 --3年的使用感受与反馈系列
阿里云数据库使用感受--操作界面有点眼花缭乱 --3年的使用感受与反馈系列