hadoop 简单入门与streaming常用配置参数说明

1. Hadoop包含两核心部分

1. hdfs
   1. Hadoop distribute file system -- hadoop分布式文件系统，存储数据
   2. Namenode、Datanode
   3. 常用命令形式：hadoop fs -ls  /  hadoop fs -mkdir
2. MapReduce
   1. 分而治之；map:实现分治；reduce：实现合并
   2. 解决数据可分割的计算问题
   3. 编程接口：常用Streaming；组成：Job配置文件、map函数，reduce函数

2. hdfs结构图

1. Namenode存储元数据，数据信息，数据备份信息
2. Datanode 数据备份：本机架备份、异地备份

3. MapReduce调度框架

1. JobClient:  <