weipanp的专栏

1、同版本的集群或集群内数据迁移（直接运行以下命令几乎不会有错误出现）hadoop distcp hdfs://namenodeip:9000/user/root hdfs://namenodeip:9000/user/root2、不同版本的集群数据迁移hadoop distcp hftp://namenodeip1:50070/user/root hdfs://namenod

1、2011年开始接触了hadoop相关的东西，但那时这些全都弄过，但现在又在弄hadoop2.6相关的东西，感觉以前的好多都已经忘了2、现在把hadoop2点滴记录下来但好多错误已修复也懒得麻烦复现大致从网上搜集了这么多，供大家参考，也勉励自己多学习hadoop错误总结1.master: mkdir: cannot create directory `/usr/local/had

前面讲述了一般的配置方式，下面讲HA的配置1、选择两台机器做namenode ,210.10与210.11，命名为ns1与ns2     命名空间为mycluster2、选择三台机器部署journal ，或多余三个的奇数台，journal作用不做详述主要修改core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml 3

1. 准备工作1) 版本选择Hadoop+Hbase+Hive一般设计大数据业务的必选组件，首先选择兼容的组件进行搭建至关重要，环境搭建好不会轻易的换版本，选择一个兼容性强，稳定的版本。本文选择组件hadoop2.6.0,Hbase0.96.2,Hive1.13.1,现阶段此种组合算是比较新的。0.98.8版本兼容性不好，以至于遗弃而选择0.96.2.软件官方下载地址：http:/

1.下载并解压hbase-0.96.2.tar.gzwget http://mirrors.cnnic.cn/apache/hbase/hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz 2.解压hbase-0.96.2.tar.gztar zxvf hbase-0.96.2.tar.gz1. 修改环境变量vi /etc/profile

1、下载hadoop2.6，编译插件2、Eclipse安装插件3、安装maven插件，配置jar包，实现自动将工程打包jar4、创建mapreduce工程，运行wordcount5、在其中遇到各种错误(1)java.lang.NullPointerException修复方法：下载hadoop-common-2.2.0-bin-master，解压将其中的winutils.

安装hive1、下载apache-hive-0.13.1-bin.tar.gzwget http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz2、解压apache-hive-0.13.1-bin.tar.gzTar -zxvf apache-hive-0.13.1-

早上来到公司，看一下昨天晚上的迁移数据，很欣喜啊，9T的数据已经迁移完并且速度很快，每秒400M左右，就想整理一下目录，一不小心误删除，把所有的数据都删除了，好伤心啊，就在网上查找，看到hadoop有trash功能，但默认是0，即不保留，好伤心当时没配置这个参数。trash的配置在core-site.xml里增加如下配置  fs.trash.interval  60*24*2