wangxiaopeng0329的博客

之前都是用root运行的，但是现在必须要解决这个问题。hdfs的权限判断十分简单，就是拿发出指令的user name和文件的user name 做比较  private void check(INode inode, FsAction access      ) throws AccessControlException {    if (inode == null) { 

一、安装环境 硬件：虚拟机 操作系统：Centos 6.4 64位 IP：192.168.241.128主机名：admin安装用户：root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

我的Hadoop2.6.4集群是基于HA高可用性下搭建的，运行在虚拟机上几天了，可是突然断电了，再次启动虚拟机再次启动集群后发现resourcemanager怎么也都起不来，想了很多可能出错的原因，最终还是把它启动了！具体做法如下：1.分别在你的zookeeper所在节点上启动各个zookeeper，在zookeeper的bin目录下执行：./zkServer.sh start2.

16/08/16 23:09:51 INFO ipc.Client: Retrying connect to server: hadoopslave2/192.168.2.153:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=10

以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARN HA的搭建，直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，没有仔细看hadoop的官方文档，貌似hadoop2.2.0不支持YARN HA，如果说错了谢谢指正呀，下面总结一下我的搭建流程：首先完成虚拟机的搭建：

对于Hadoop的hdfs来说，升级时直接把低版本的数据拷到高版本的hdfs上就行。具体步骤：1. hadoop  fs  -copyToLocal  [低版本的数据目录]，防止数据丢失。2. 对hdfs-site.xml里面的dfs.name.dir和dfs.data.dir的路径指定的元数据进行备份，防止丢失。 3. stop正在运行的集群后，需要修改环境变量/

示例1：Text t = new Text("hadoopp");t.set(new Text("pig"));byte[] b = t.getBytes();for (byte bb : b)System.out.print(bb + " ");System.out.println();System.out.println(t.getLength());Syste

实际案例：我是在windows运行的虚拟机上安装的Hadoop，想通过http://hostname:50070访问分布式文件系统，点击“Browse the filesystem”,无响应。可能原因：在此主机上没有配置Hadoop各个节点的hosts映射信息。可以按照如下方式进行配置：打开此路径：C:\Windows\System32\drivers\etc\

可能原因：localhost地址的IP映射没有配置。方法：编辑namenode节点及各个datanode节点的hosts文件：命令：vi /etc/hosts在第一行添加：127.0.0.1 localhost 即可。

1.进入datanode节点的主机2.删除各个datanode节点主机的hadoop目录中的：/usr/hadoop/hadoop-root/dfs/data/current/VERSION3.执行 hadoop namenode -format 即可！4.重新启动namenode！

配置文件hdfs-site.xml中的dfs.data.dir属性设置的目录有误，我修改为/home/grid/hadoop1.1.2/hdfs/data，在/home/grid/hadoop1.1.2/目录下执行以下命令，mkdir hdfsmkdir hdfs/datachmod 755 hdfs/data -该属性设置不对的话，日志中会有错误同时把replic

1. 数据仓库业界是否该为Hadoop的迅速崛起而感到担忧甚至恐慌?抑或是该向其敞开热情的怀抱?Cloudera公司的Doug Cutting与Hortonworks公司的Arun Murthy作为Hadoop领域的两位先驱者，在本届Hadoop 2014峰会的问答环节中提出了这样的问题。尽管很多企业开始将数据仓库中的工作负载迁移到Hadoop环境当中，但这种作法仍然没有成为主流。但未来情