Alexander的博客

什么是HDFS？ HDFS是Hadoop Distributed File System的简写，即分布式文件系统。 NameNode负责管理与维护HDFS目录系统并控制文件的读写 DataNode负责存储数据 对于HDFS的数据存取 用cluster集群架构来存储大数据文件，通过Streaming来存取数据集，并且HDFS是批处理，而不是实时互动处理。存取模式是一次写入多次读取（write-on...

MapReduce是一种程序开发模式，可以使用大量服务器来进行并行处理。 Map分配工作，Reduce将工作结果汇总。 运作流程 1、Map将数据分割成若干份小数据，由每台服务器分别运行 2、Reduce将数据合并，汇总整理结果 示例：WordCount 计算文件中每个单词出现的次数 1、将以下代码复制进WordCount.java import java.io.IOException; impo...

1、安装系统 2、安装jdk:yum install java-1.8.0-openjdk 3、安装ssh 4、安装rsync 5、配置免密ssh: (在root下进行) ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 6、下载安装hadoop wget h...