qdqht2009的专栏

折腾了2天终于安装完成，下面总结一下安装过程

sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --p

WritableComparable用途是是为了确定是不是相同的key，因此得出如下结论：hadoop为Key的数据类型必须实现WritableComparable如果以bean作为key,实例化了WritableComparable接口，一定要注意public int compareTo(T o){     } 方法的实现。-1  0 1的

需在环境变量中添加HADOOP_HOME路径使用win下的bin和lib。(windows下需要winutils.exe)

原文http://my.oschina.net/leejun2005/blog/131744之前有童鞋问到了这样一个问题：为什么我在 reduce 阶段遍历了一次 Iterable 之后，再次遍历的时候，数据都没了呢？可能有童鞋想当然的回答：Iterable 只能单向遍历一次，就这样简单的原因。。。事实果真如此吗？还是用代码说话：package com.test;imp

Failed to set setXIncludeAware(true) for parser遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包，重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便，但是这不是一种好习惯，我们应该通过修改CL

启动namenodesbin/hadoop-daemon.sh start namenodesbin/hadoop-daemon.sh start datanode关闭namenodesbin/hadoop-daemon.sh stop datanodesbin/hadoop-daemon.sh stop namenoderoot@water:/home/hadoo

hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令  hadoop fs –ls 列出目录及文件信息  hadoop fs –lsr 循环列出目录、子目录及文件信息  hadoop fs –put test.txt /user/sunli

主要是文件夹权限设置出错chmod 700 /home/javen/.ssh/

安装yum EPEL源rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm                         #需要root权限，否则前面加sudovim /etc/yum.repos.d/epel.repo#baseurlmirrorlist改成baseurl#mirro