阿珂学编程

纯属作死！hadoop配置好后，一定要先格式化：hadoop namenode -format 好像hadoop datanode -format也可以执行，但是没有什么效果。不推荐执行该语句。我就是配置好hadoop后，没有执行格式化，直接执行：start-all.sh 然后发现namenode无法启动，执行jps的效果如下： 查看hadoop-chj-namenode-hadoop.l

在查关于设置ssh免密登陆的时候，看到一篇很好的博客，有一种很简便的方法来设置集群中主机之间的ssh免密登录，地址：http://blog.youkuaiyun.com/zzu09huixu/article/details/36416007 用到了一种传递的思想来存储每台主机产生的公钥，具体步骤如下： (1)在所有主机上都执行：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

一开始我用的是公网ip来搭建的集群环境，最后遇到了namenode无法启动的问题：java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException查了很多资料，最后说是ip的问题，可能是因为IP 不在同一区域里，如果na

FileInputFormat继承了抽象类InputFormat，来看一下InputFormat的源码：public abstract class InputFormat<K, V> { public abstract List<InputSplit> getSplits(JobContext context) throws IOException, InterruptedExcept

Configuration类有三个构造函数：public Configuration() { this(true);}public Configuration(boolean loadDefaults) { this.loadDefaults = loadDefaults; if (LOG.isDebugEnabled()) { LOG.debug(StringUtils.stri

源码环境：Hadoop1.0.0 org.apache.hadoop.conf 中的Configuration类是配置模块最底层的类。 先来看Configuration的类声明：public class Configuration implements Iterable<Map.Entry<String,String>>,Writable {}Configuration类实现了两个接口，分别是：

mapreduce的数据流如下： Mapper

一个比较常见的原因是因为多次执行：hadoop namenode -format导致的 在这个上面本人也踩过坑，所以想整理一下，做个记录。本人搭建的环境是在虚拟机上创建三个slave节点和一个master节点，正常情况下，在第一次搭建环境成功后，都需要执行一次：hadoop namenode -format来格式化HDFS，执行一次是没有什么问题的，但是执行多次就会出问题了，问题就出在nameno

1、Linux是一个多用户的操作系统。每个用户登录系统后，都会有一个专用的运行环境。通常每个用户默认的环境都是相同的，这个默认环境实际上就是一组环境变量的定义。用户可以对自己的运行环境进行定制，其方法就是修改相应的系统环境变量。2、常在/etc/profile文件中修改环境变量，在这里修改的内容是对所有用户起作用的。3、如何添加环境变量。 　　例如添加”NAME=liheng“ 。在profile

网上有很多编译好的hadoop-eclipse-x.x.x的插件，参差不齐，有的是官方的插件，大部分是个人自己编译的插件分享出来，由于每个人的环境有所不同，直接使用这些插件的话总是会遇到一些问题，所以最好的办法就是自己根据自己的环境编译生成hadoop-eclipse-x.x.x插件，这样就不会出现问题了。博主的环境如下： 操作系统：Ubuntu14.04 jdk:1.8.0 hadoop：1

pig下载pig版本的选择非常重要！！！因为pig不同版本支持的hadoop版本不同，很容易因为版本不同导致错误。直接上图说明 上图可以看到，官网针对每个pig适用的hadoop版本都做了说明，所以版本选择很重要。我用的是hadoop1.0.0。按照官网的说法，最新的pig0.17.0都是可以使用的，但是我下载下来安装后，就直接报错，经过一番尝试，最高能用的版本是pig0.12.0。坑爹！！！！