Huathy的博客

在WIndows操作系统中本地运行spark程序写文件操作时,报以下错误：…(null) entry in command string: null chmod 0644 …(后面是目的目录)

在执行task前，将上面的配置信息增加进hints中。

由于原始数据涉及多个需要统计的字段，可以将这些字段统一的记录在一个自定义的数据类型中，方便使用import org/*** @description 自定义数据类型，为了保存主播相关核心字段，方便后期维护} }/*** @description 自定义数据类型，为了保存主播相关核心字段，方便后期维护} }/**

官方介绍：MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MapReduce是分布式运行的，由俩个阶段组成：Map和Reduce。MapReduce框架都有默认实现，用户只需要覆盖map()和reduce()俩个函数，即可实现分布式计算。

第一个是File和Block List的关系，对应的关系信息存储在fsimages和edits文件中（当NameNode启动的时候会把文件中的内容加载到内存中）第二个关系：DataNode与Block的关系（当DataNode启动的时候，会把当前节点上的Block信息和节点信息上报给NameNode）

Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、Map Reduce、BigTable实现的。移动数据：数据 -> 计算程序移动计算：计算程序 -> 数据分布式计算：各个节点局部计算 -> 第二阶段汇总程序官方版本：Apache Hadoop，开源，集群安装维护比较麻烦第三方发行版：Cloudera Hadoop（CDH），商业收费，使用Cloudera Manager安装维护比较方便。