一只咸鱼的博客

MapReduce分为map阶段和reduce阶段，两个阶段都是多个任务并行处理map阶段：MapTask个数为number of splits（输入文件的切分数）reduce阶段：ReduceTask个数为number ofpartition （分区数，有几个分区就会最终输出几个文件）...

HDFS是按块存储，每个块的元数据存储在namenode内存中，因此大量的小文件会耗尽namenode内存。HDFS通过文件存档来解决这个问题归档是需要启动YARN归档文件把/user/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/output路径下。hadoop archive -archiveName input.har –p /user/input /user/output查看归档hadoop fs -lsr...

上传至HDFS简化流程：数据是存储在datanode上，因此客户端上传时需要知道往哪个datanode传输数据，而namenode的作用就是根据一定策略向客户端分配datanode。上传时，客户端向datanode请求上传，然后namenode会将datanode的地址发送给客户端，客户端根据地址来上传副本。从HDFS下载简化流程：下载时，客户端向datanode请求下载，然后nameNode通过查询元数据，找到文件块所在的DataNode地址，发送给客户端，客户端会挑选一台DataN.

（1）-help：输出这个命令参数 hadoop fs -help rm（2）-ls: 显示目录信息 hadoop fs -ls /（3）-mkdir：在HDFS上创建目录 hadoop fs -mkdir -p /sanguo/shuguo（4）-moveFromLocal：从本地剪切粘贴到HDFS touch kongming.txt hadoop fs -moveFromLocal ...

防火墙已关闭yarn-site.xml配置：<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.resourcemanager.hostname</name...