iteye_6988的博客

搭建yarn环境后，执行 hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /host1 /out1执行一直停留在Running job：  打开yarn web 页面http://crxy1:8088/clusterapp的作业s...

我写了一个启动zookeeper的脚本d.sh。启动时提示成功了不了，但实际上没有成功脚本：脚本很简单内容如下：[root@crxy1 local]# more d.sh #!/bin/sh echo "start zkServer..." for i in 1 2 3 do ssh crxy$i "/usr/local/zookeeper/bin/zkServer.sh star...

Linux查找文件内容的常用命令方法。  从文件内容查找匹配指定字符串的行：$ grep "被查找的字符串" 文件名例子：在当前目录里第一级文件夹中寻找包含指定字符串的.in文件grep "thermcontact" */*.in从文件内容查找与正则表达式匹配的行：$ grep –e “正则表达式” 文件名查找时不区分大小写：$ grep –i "被查找的字符串" 文件名查找匹配的行数：...

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Note:_Using_the_Quorum_Journal_Manager_or_Conventional_Shared_Storage Hardware resources...

http://chqz1987.blog.163.com/blog/static/514383112013261505866/假如执行下面命令：cd /home/hadoop/  && hadoop jar ./test/wordcount/wordcount.jar org.codetree.hadoop.v1.WordCount /test/chqz/input /tes...

一、修改主机名：1、hostname  crxy02、vi /etc/sysconfig/network       改成：HOSTNAME=crxy0.localdomain4、vi /etc/hosts     添加192.168.203.132 crxy0 5、reboot，重启系统。6、查看hostname ，是否修改成功。二、配置SSH免密码登录s...

http://blog.sina.com.cn/s/blog_5ccc692d0101pikf.html 学习hadoop2.2.0，远程调试hadoop源码 note: 只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决.1 把编译好的hadoop源代码导入eclipse   2 如果要调试hdfs，修改~/hado...

 学习hadoop，wmware以host-only方式安装虚拟机出现的ifconfig中网卡eth0变成了eth1，我在system-preferences-network connections 配置的ip192.168.17.100，connection name 为System eth0 ，且在/etc/sysconfig/network-scripts/目录下的ifcfg-eth0...

hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式 原文:http://blog.youkuaiyun.com/fansy1990/article/details/26267637 版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用Multiple...

在单个操作中处理一批文件，这是很常见的需求。比如说处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符在匹配多个文件时比较方便的，无需列举每个文件和目录来指定输入。hadoop为执行通配提供了两个FIleSystem方法：1 public FileStatus[] globStatus(Path pathPattern) throw I...

http://sishuok.com/forum/blogPost/list/5293.html  

（本文包括章节：1、由来，2、算法简单回顾，3、演习道具，4、演习，5、算法提出者Leslie的八卦。hoho）1、由来：刘备接受了诸葛亮的提议，决定将paxos算法的思想应用到蜀帝国的决策机制上。然而，玄德生性谨慎，决定先行试点，实践下可行性。孔明提议，由蜀国五大肌肉男：关羽、张飞、赵云、马超、黄忠，做为决策者，而廖化、周仓、魏延分别无序的提出关于同一件事的水火不容的三个提案，孔明坚信...

http://www.uml.org.cn/zjjs/201202172.asp   http://www.open-open.com/lib/view/open1386577681689.html GFS论文学习笔记 

MapReduce原理浅析 -------------------------每天学习一点点^_^--------------------------                 一个简单的应用了Map/Reduce模式的例子：http://wiki.apache.org/hadoop/WordCount    用 Mapeduce 来处理大数据集的过程, 这个 MapRed...

[新技术新方向]Windows下搭建Hadoop开发环境(北大青鸟系列视频http://v.youku.com/v_show/id_XMzc5MzM1NDQw.html