大数据践行者

Hadoop的核心功能特点主要包括：1、分布式架构，可以处理数据量非常大的数据，可实现数据性能的线性扩展。2、多租户环境，实现多用户共同加工数据，数据无需频繁传输交换3、文件系统采用HDFS，三份数据副本，实现文件系统的高可靠4、有丰富的计算引擎，如MR、Hbase、SparkCore，基于MR可实现Hive，基于SparkCore可实现SparkSQL5、基于Hadoop的S

大数据平台的建设思考（一）常规大数据建设、数据中心建设，会经过以下阶段：数据汇聚、清洗整合、融合、数据融合，数据输出给各个大数据应用使用。将整个数据流比作炒一道美味的菜肴，那么对应关系： - 买菜——数据汇聚 （业务系统->ODS层） - 洗切菜——清洗整合（ODS层->DWD层） - 炒菜——数据融合（DW、DM层） - 上菜——数据输出（API服务、数据交换）