momo1005的博客

配置工程在maven官网上下载最新的maven压缩包并解压。下载IntelliJ IDEA并安装。在IDEA中新建工程，选择maven，sdk选择java jdk的目录，勾选上Create form archetype，选择quickstart，下一步。 填写GroupId和ArtifactId，version填写1.0，下一步。 User settings file配置选择下载解压后的mav

MapReduce概述源自于Google的MapReduce论文，发表于2004年12月Hadoop MapReduce是Google MapReduce的克隆版MapReduce优点：海量数据的离线处理、易开发、易运行。所谓海量数据，说明MapReduce可以处理的数据量非常大，离线处理说明MapReduce跟实时响应不同，用户将作业提交，系统按批次进行处理，由于数据量大，自然非常耗时。所

YARN产生背景为什么会产生YRAN？这个与MapReduce1.x的架构有关，正是因为MapReduce1.x存在许多的问题，才会产生 YARN。MapReduce1.x的架构如下：Hadoop1.x时，MapReduce的架构仍然是主从架构。一个JobTracker带多个TaskTracker，主节点为JobTracker，只有一个，从节点为TaskTracker，可以有多个，从节点通过向

首先看看出场的角色，第一个是client客户端，用来发起读写请求，读取HDFS上的文件或往HDFS中写文件；第二个是Namenode，唯一的一个，会协调所有客户端发起的请求；第三个是DataNode，负责数据存储，跟Namenode不一样，DataNode有很多个，有时候能达到数以千计。写数据流程往HDFS中写数据的流程如下：第1幅图：我们跟客户端说，你帮我写一个200M的数据吧，客户端说没问题啊，

HDFS的设计目标通过上一篇文章的介绍我们已经了解到HDFS到底是怎样的东西，以及它是怎样通过多副本机制来提供高可靠性的，我们可以发现HDFS设计目标可以总结为以下几点：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户提供性能不错的文件存储服务HDFS的架构我们通过官网的文档来了解HDFS的基础架构（http://hadoop.apache.org/docs/current/ha

研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。hadoop介绍关于hadoop 最好的介绍莫过于官网的文档，hadoop的官网如下，http://hadoop.apache.org我们一句一句来看看hadoop官网是怎么介绍的。