
kettle技术从入门到精通
文章平均质量分 83
深入讲解基于kettle的ETL技术,带领读者解决实际的数据处理问题。
qingxinziran007
这个作者很懒,什么都没留下…
展开
-
kettle-数据迁移场景
场景描述:大家都知道,物联网项目的数据量大,如何高效的存储处理数据是一个非常棘手的问题。但是,往往在项目初期是不可能准确的预估到数据体量,随着项目的演进,就会发现现数据库性能会直线下降,甚至会导致服务挂掉。此时项目的架构也要随之进行革新,数据库也势必要切换到性能更强的数据库(比如,从关系型数据库到NoSql或时序数据库)。此时,kettle这个强大的ETL工具的用武之地就到了。那么kettle是如何在不同的数据库之间进行迁移的呢?原创 2022-01-25 14:27:09 · 4105 阅读 · 0 评论 -
kettle-输出组件
上一节,讲解了常用的输入组件(excel输入组件,文本输入组件,表输入组件,json输入组件)。对一个系统来说,有输入就必定有输出,输出组件反应的就是系统最终的处理结果,也就是业务产出。熟练的掌握输入输出组件,是学习kettle的关键环节,也是分析业务需求的重要法宝。 本节将针对上一节中的输入组件,讲解其相对应的输出组件。这样便可以使同学们掌握kettle的基础运用能力。excel输出组件 工作中经常会遇到需要将从接口中查询出的数据导出为excel文件...原创 2021-10-23 15:38:58 · 1260 阅读 · 0 评论 -
kettle-输入组件
众所周知,要想深入的设计和了解一个系统,首先要了解系统的输入输出是什么,系统的输入是所有步骤中最为基础的一步,它是所有业务逻辑实现的前提条件。所以这一节是至关重要的,原创 2021-10-23 11:31:14 · 651 阅读 · 0 评论 -
开篇-后端工程师的开发利器
作为一个后端工程师,平时最主要的工作其实就是数据处理,也就是经常所说的增删改查。长时间做这些冗余的工作,再加上996的常态,时常会让人感到厌烦。那么后端工程师的最终归宿是什么呢?很多后端工程师都会感到迷茫,如果想要更进一步成为所谓的架构师,你会发现架构师所做的架构设计,其实也就是照搬互联网领域常用的一些架构模式,更有甚者就是那些ppt架构师,相信很多同学都有和我一样的体会,真正能够进行模式创新的往往是一些研究院的学者,所以要想成为架构师多读书是一个必要条件,但是真正落地的你会发现其实就是后端工程师。那么作为原创 2021-09-21 17:47:19 · 483 阅读 · 0 评论