ETL 行业也够卷，云化ETL，ETL 软件不过了-优快云博客

本文链接：https://blog.youkuaiyun.com/liuhuayang/article/details/145314231

开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题。加群请联系 liuaustin3 ，（共2710人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 ）(1 2 3 4 5 6群均已爆满，7群400+，开8群9群)

最近忙，更新率低了，今天说说其中的一个原因，最近和业内的ETL方面的更新的技术在进行学习，之前一些ETL的观念在这次的学习中，也彻底被更新了，这是整个的学习过程进行一个记录，每天都是新知识，每天都是崭新的。

在ETL数据传输和数据处理中，我们习惯使用的方法多是Kettle,otter,canal,ogg这样的数据迁移ETL软件。可时代变迁了，再用这些软件在很多场合已经不合时宜了。尤其是短平快的需求下，我实在是没有精力时间去研究这些东西，还要进行数据库对应的配置，而最近赶时髦，用上了云迁移的ETL软件，TapData Cloud,非常神奇的软件，如果要我用一句话来概括，彻底让我了解到现在的ETL是什么样子，或者该是什么样子，和之前的那些傻大笨粗已经毫无关系。

废话不说，马上进行测试。打开https://tapdata.net/ 网站，点击cloud。

通过这个软件我两分钟内我就配置好了一个从PolarDB 到 PolarDB的数据流复制。

大家见上图数据已经开始进行了同步，非常的便捷，这里我简单的介绍一下，TapData云ETL，这个免费的工具可以干点什么。

1 云免费ETL可以进行各种开源数据库到国产数据库的同步，你知道的国产数据库基本都在支持列表

2 使用者根本不关心配置，因为都是自动的，我可以专心的搞我的数据库，复制的监控和过程都由TapData云来负责。

3 核心的数据不会经过TapData 而是你自建的主机，让使用者完全不用担心数据的安全性的问题。

有了这个功能，基本上数据迁移的过程上步骤

1 云注册账号

2 开通免费的服务

3 安装好agent

4 配置好本地和远程的连接

5 工作完毕

这个服务可以把数据从MySQL , PostgreSQL ,Sql Server, Oracle 往国产数据库搬运，这里需要说明如果是企业性质可以开通收费的服务，他将提供更多的功能，服务等。

这里有官方的付费方式

这里我小声说一句，如果实在是不想花钱，还想要高性能，自己可以用自己的服务器利用TapData管理数据传输，比如我现在就是这么干的，我需要从PolarDB传输数据到另一个PolarDB,数据量不大，TapData可以直接将服务的agent自动安装在我的笔记本上，然后我就开始远程将一个PolarDB的数据，传输到另一个PolarDB上。在默认的情况下，简单的数据传输迁移，TapData是不收费的。

操作界面异常的简单，源目的地，选择连接到你的数据库上，本地，远程，云均可，TapData对于数据库的ETL是“不挑食的”。

关于大部分人可能担心自己安装Agent到服务器上的难度，这里可以看此页面，非常简单,支持 LINUX,WINDOWS,Docker,云上部署服务器等的方式。同时你自己还可以通过云来监控你自己的ETL服务器，可以通过手动来启动自己的服务器的上的ETL服务，这里我简单的画一个图。

在建立好Agent后，我们就可以建立源库和目的库的链接测试了，在测试通过后，就直接可以进行数据库的传输了。

由于过程太简单，我就不叙述了，如同打开冰箱门，把大象塞进去，然后在关上门那么简单，如果我在详细叙述，是对看文章的人的不尊重。

工作到这里，我突然意识到一个问题，在之前各种本地安装，调试，各种问题的ETL的软件的生命历史中，他们意识到现在的ETL软件已经可以云化了吗，作为一个对新产品不拒绝，不挑食的IT工作者，我觉得我在ETL 探索更先进了，这ETL使用的方式太简单了，这里我先看官方文档中详细的一些产品的介绍，看完介绍，在将一些疑问总结起来在和ETL方面的专家进行快速学习。

置顶

公众号给我两个数字 34.6万，65.5万--告别2024

没有谁是垮掉的一代--记第四届 OceanBase 数据库大赛

PostgreSQL 相关文章

PostgreSQL 运维的难与“难” --上海PG大会主题记录

PostgreSQL 什么都能存，什么都能塞 --- 你能成熟一点吗？

PostgreSQL 迁移用户很简单 --- 我看你的好戏

PostgreSQL 用户胡作非为只能受着 --- 警告他

全世界都在“搞” PostgreSQL ，从Oracle 得到一个“馊主意”开始PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁

PostgreSQL “我怎么就连个数据库都不会建？” --- 你还真不会！

病毒攻击PostgreSQL暴力破解系统，防范加固系统方案（内附分析日志脚本）

PostgreSQL 远程管理越来越简单，6个自动化脚本开胃菜