qq_30364247的博客

（一） 什么是MapReduce？(1).概念官网上原话翻译成中文这么说的：Hadoop MapReduce是一个用于轻松编写应用程序的软件框架，它以可靠的容错方式在大型群集（数千个节点）的商品硬件上并行处理海量数据（多TB数据集）. 关键词：软件框架 可靠性 高容错 处理海量数据说白了，其实mapreduce就是把大量数据通过分而治之的核心思想来实现分布式计算框架，核心架...

HDFS之间的通讯协议 名称 功能 ClientProtocol 客户端(java代码客户端)与Namenode之间的通讯协议 DatanodeProtocol Datanode与Namenode之间的通讯协议，如Datanode向Namenode发送心跳报告等 clientDatanodeProtocol client客户端与Datan...

1.一般的文件读取操作包括：open 、read、close等客户端读取数据过程，其中1、3、6步由客户端发起：客户端首先获取FileSystem的一个实例，这里就是HDFS对应的实例：①客户端调用FileSystem实例的open方法，获得这个文件对应的输入流，在HDFS中就是DFSInputStream②构造第一步中的输入流DFSInputStream时，通过RPC远程调用...

HDFS：指分布式文件系统，采用分而治之的方式，把大文件拆分成若干小文件存储到集群上(由若干有一定内存，cpu等廉价电脑组成的)。 HDFS的结构与组成 采用master/slave结构，整个集群由一个名称节点(NameNode)、一个备用名称节点(Secondary Namenode)和若干个数据节点(DateNode)组成。 namenode主要是负责管理文件空间名和客户端访问，dat...