Rachel的博客

1：官网中有给出详细的操作步骤，可以查看如下链接： http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2：hdfs-site.xml中的配置以及解释： <!--高可用集群的相关配置 --> <configuration...

1：什么是hadoop     官网上关于hadoop的解释是：     The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.     >>开源的     >>可靠的         可以及时进行数据备份        ...

 解决问题：         海量数据的存储    ->    分布式架构设计          分布式-特点：集群，多台机器共同协作完成                                主从架构设计     1.namenode - 主节点 - 领导         存储文件的元数据包括的内容如下： >>>文件的名称 >>>文件的位置 ...

1：下载Hadoop。可以下载CDH版本，还有普通版本。他们的区别在与CDH在版本兼容方面出色 CDH版本的下载地址为： http://archive.cloudera.com/cdh5/cdh/5/ 普通hadoop的下载地址： http://archive.apache.org/dist/hadoop/core/ 可以选择用wget在linux中下载，也可以选择下载到windows目...

1:MapReduce概述 Mapreduce分成两部分 Map()---映射 (元素个数是不变的) 映射成键值对的结构 映射的条件是一一对应的。 x--->(x,1) y--->(y,1) Reduce()---归约（元素个数是减少的） 对于key相同的元素，找出来,值进行相加。 x--->(x,1) x--->(x,1) -->&gt...

整个MapReduce的运行过程 input --> map --> shuffle -->reduce --->output 以wordcount数据模型为例 Map的输出数据模式如下：<hadoop,1><spark,1>以<key,value>对的形式存在 因为map阶段是对整个文件中的每一个元素进行处理，对于Map的输出量...