
数据同步
hj0303
这个作者很懒,什么都没留下…
展开
-
常用数据抽取工具Kettle、Datax、Sqoop、StreamSets
Kettle(传统的ETL工具)特性:纯Java编写,通过建立资源库可多端访问,直接在windows上进行作业开发,同步资源库,在linux上执行定时任务优点:可在Windows、linux、Unix上执行;数据抽取高效稳定;子组件spoon有丰富的Steps可以开发复杂业务逻辑场景,方便实现全量、增量同步;可视化界面缺点:通过定时运行,实时性较差;组成部分:Spoon:允许使用图形...原创 2020-03-10 14:18:58 · 8711 阅读 · 3 评论 -
Kettle数据同步导出链接hive2几种方法
KettleA. 优缺点kettle的优点:1.可视化界面。一个可视化界面足以成为选择kettle的首要原因。毕竟,可视化意味着更方便人的使用。2.元数据库。元 数据库 用来保存kettle任务的元信息,方便管理任务,通常叫做资源库( repository )。3.自带工作流并且支持增量抽取。4.可以配置成一套逻辑。例如:抽取数据时,目标表不存在则插入,存在则更新,而目标表中存在...原创 2020-03-10 14:10:35 · 1103 阅读 · 0 评论