
ETL
大数据老哥
这个作者很懒,什么都没留下…
展开
-
kettle生成节假日数据原来还可以这样操作?
前言 最近有好多小伙伴私信我,遇到一个问题在做数仓项目中遇到了瓶颈有的需求需要根据节假日去统计信息。但是由于节假日每年都不一样目前提供的方法没法动态的去获取关于节假日的信息。所以自己去编写一个实现类就完成这个操作。一、需求描述 在Hive中生成一个表用来保存关于日期的工具。目前大公司为了提高效率。创建一个日期表原创 2020-12-22 21:21:23 · 3930 阅读 · 29 评论 -
DATAX快速上手非常详细
前言 博主在工作的过程中有一天公司决定将数据迁移的新的项目上去,当我发现数据库中的表大于有4000多张表的时我顿时懵了下,这数据迁移人力物力消耗的也太大了吧(看DataX的设计)。所以我们可以借助阿里云开源的DataX来解决这个问题。看完这篇掌握以下内容:什么是DataXDataX的设计Datax框架设计、运行原理快速入门一、概论1.1 什么是DataX原创 2020-11-14 16:33:35 · 18112 阅读 · 26 评论