刘信坚的博客

一 Hadoop运行模式 （1）本地模式（默认模式）：  不需要启用单独进程，直接可以运行， 测试和开发时使用。 （2）伪分布式模式：  等同于完全分布式，只有一个节点。 （3）完全分布式模式：多个节点一起运行。 下面是官网给出的原文： This will display the usage documentation for the hadoop script. Now you are ...

一 介绍 HDFS中如下组件： 1） NameNode : 存储文件的元数据，如文件名，文件目录结构，文件属性等。 2） DataNode: 在文件系统中存储文件块的数据等。 3）Secondary NameNode: 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。   二 使用HDFS并运行MapReduce程序 1 首先将 etc/hadoop/had...

YARN 上运行 MapReduce 程序 1  首先配置yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 2 配置 yarn-site.xml   <!-- reducer 获取数据的方式 --> <property> <name>yarn.nodemanager.aux-servi...

需求： 在一堆给定的文本文件中统计输出每一个单词出现的总次数 如下图所示为MapReduce统计WordCount的分析图： map阶段从文件中读取数据，行号作为key，读取的每行值作为value，将每个key/value对输出给reduce阶段，reduce阶段将map阶段所有执行完的结果进行reduce操作，每个相同的key执行一次reduce方法。 代码如下： WordCountM...