在数据仓库etl过程会有许多不同的数据源从dw导数据, 以mysql数据源为例分几种方法来导入:
1. 借助etl工具本身来导入
优点: 开发效率高,直接表映射
缺点:etl工具本身license, 加载数据的效率低
2. 借助oracle gateway拉取mysql内的数据
优点:开发效率高,只需配置
缺点:如果数据量比较多的话拉取有瓶颈,不会使用谓语下推操作
3. 借助NFS将mysql数据导入,然后通过sqlldr加载NFS上的数据文件
优点:加载数据快, 直接使用原生态的导出和加载
缺点:配置麻烦
1. 借助etl工具本身来导入
优点: 开发效率高,直接表映射
缺点:etl工具本身license, 加载数据的效率低
2. 借助oracle gateway拉取mysql内的数据
优点:开发效率高,只需配置
缺点:如果数据量比较多的话拉取有瓶颈,不会使用谓语下推操作
3. 借助NFS将mysql数据导入,然后通过sqlldr加载NFS上的数据文件
优点:加载数据快, 直接使用原生态的导出和加载
缺点:配置麻烦
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16582684/viewspace-777022/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/16582684/viewspace-777022/
本文介绍了数据仓库ETL过程中从MySQL导入数据的三种方法:利用ETL工具、Oracle Gateway及NFS结合SQL*Loader的方式,并分析了各自的优缺点。
1132

被折叠的 条评论
为什么被折叠?



