Hadoop组件介绍(中)

 

ETL

（数据仓库技术）

编辑

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

磁盘上的一个数据如果想用网络发送出去，传统流程是先要把数据读取到用户进程里面，然后由用户进程写回操作系统上下文中，再由操作系统送到网卡的缓存里，再由网卡的缓存发送出去。如果使用Linux操作系统提供的zero-copy技术，在JavaNIO里面进行封装，只要告诉磁盘上的数据的位置，即可直接把数据读/写出来送到网卡里去，因此存取代价非常低。

高吞吐率是利用了磁盘的连续读写速度要比内存随机写快。