数据集成通过数据抽取、转换和加载实现数据源整合。主要架构有ETL（抽取、转换、加载）和ELT（抽取、加载、转换）。ELT在SQL中进行数据变换，灵活性更高。Kettle是一款开源ETL工具，采用可视化操作，包括Transformation转换和Job作业。案例展示了如何使用Kettle将文本文件内容导入MySQL数据库。
数据集成就是将多个数据源合并存放在一个数据存储中，从而方便后续的数据挖掘工作。数据集成更广泛的意义包括数据清洗、数据抽取、数据集成和数据变换等操作。
数据集成的两种架构：ELT和ETL
ETL包括数据抽取(Extract)、转换(Transform)和加载(Load)三个过程。
抽取是将数据从已有的数据源中提取出来。
转换是将原始数据进行处理。
加载是将表写入目的地。
ELT是将抽取后的结果先写入目的地，再利用数据库的聚合分析能力或者外部计算框架，如Spark来进行转换的步骤。
目前数据集成的主流架构是ETL，而使用ELT比ETL有很多好处：
- ELT重抽取加载，轻转换，可以用更轻量的方案搭建起一个数据集成平台。提取完成后，数据加载立刻开始，一方面省时，另一方面允许BI分析人员无限制地访问整个原始数据，灵活性更高。
- ELT的数据变换过程在SQL中进行，而不是在加载阶段，可以更好的了解数据变换的过程。
ETL工具
简要介绍开源软件kettle工具的使用。
下载地址
使用之前要安装数据库软件（我的是mysql，官网安装及配置），以及Java运行环境（JRE）,然后进行
最低0.47元/天 解锁文章
扫一扫
1674
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
