人生不要太仁慈

维基百科对Data lake的解释：数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储，从原始数据（这意味着源系统数据的精确副本）转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。湖中的数据包括结构化数据从关系数据库（行和列），半结构化数据（CSV、XML、JSON的日志），非结...

ETL讲解（很详细！！！） ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。       　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设...

　 ETL所完成的工作主要包括三方面：首先，在 数据仓库和业务系统之间搭建起一座桥梁，确保新的业务数据源源不断地进入数据仓库；其次，用户的分析和应用也能反映出最新的业务动态，虽然ETL在数据仓库架构的三部分中技术含量并不算高，但其涉及到大量的业务逻辑和异构环境，因此在一般的数据仓库项目中ETL部分往往也是牵扯精力最多的；第三，如果从整体角度来看，ETL主要作用在于屏蔽了复杂的业务逻辑，从而为各种基...

ETL工具总结ETL的考虑      做 数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒 还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了一 定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字...

数据湖听起来很简单：把数据或信息汇集到一个结合处理速度和存储空间的大数据系统――Hadoop集群或内存解决方案，那样业务部门就能访问数据，获取新的洞察力。不过，与IT行业的许多技术一样，现实比梦想困难得多。　　Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)发明了这个术语，他表示，其中一方面是由于对数据湖应该是什么存在着误解。他从来就没有打算用数据湖来描述从所有企业应...