虾哔哔的博客

http://blog.youkuaiyun.com/Meoop/article/details/50806724

资源下载：https://download.youkuaiyun.com/download/weixin_35852328/10746477 异常：本地没有hadoop环境/10/26 16:16:02 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOExcep...

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译...

HDFS 常用文件操作命令 - 优快云博客 http://blog.youkuaiyun.com/zcf1002797280/article/details/49560961

sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/hadoop-daemon.sh start zkfcbin/hdfs haadmin -transitionToActive nn1hbase-daemon.sh start regionserver

1.验证： zkCli.sh -server jn001.com ls / 发现没有/hadoop-ha结点。2.重新进入hadoop namenode服务器。 /usr/local/hadoop/bin/hdfs zkfc -formatZK3.然后在active namenode和stand by namenode上执行以下语句： hadoop-daemon.sh star

1.创建一个Maven工程，加入hadoop-common依赖。2.编写Protocol接口类public interface ClientNamenodeProtocol { public static final long versionID=1L; //会读取这个版本号， 但可以和客户端的不一样， 没有校验 public String getMetaData(String pa

重启挂掉的节点，使用以下的命令重启datanodebin/hadoop-daemon.sh start datanode //启动数据节点bin/hadoop-daemon.sh start tasktracker //启动任务管理器此时再访问hadoop1:50070 就会发现这个挂掉的节点已经启动起来了。

今天在启动Hadoop集群的时候，datanode结点一直起不来。查看log文件发现报错了：All specified directories are failed to load。 原因是因为VERSION不一致。解决方法：删除hdfs-site.xml中设置的dfs.namenode.name.dir和dfs.datanode.dadta.dir节点指定的目录下的文件夹，然后重新format

HADOOP是apache旗下的一套开源软件平台；提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理；HADOOP的核心组件有：A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架）；广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈Hadoop生态圈 重点组件： HADOOP（hdfs、MAPR

1.HDFS使用查看集群的状态：hdfs dfsadmin -report web控制台查看hdfs集群信息：http://hadoop1:50070/ 查看HDFS中的目录信息：hadoop fs -ls / 在HDFS上创建文件夹：hadoop fs -mkdir -p /aaa/bbb/ccc 上传文件： hadoop fs -put 本地文件路径 to hdfs路径 下载文件：ha

Hadoop2.7.2集群搭建详解（三台）_服务器应用_Linux公社-Linux系统门户网站 http://www.linuxidc.com/Linux/2017-03/142051.htm

在访问带有kerberos认证的hadoop生态圈服务时，必须带上keytab文件认证。常用的代码：String userCode="user1";String keytabPath = "./user1.keytab";System.setProperty("java.security.krb5.kdc", kdc); System.setProperty("java.secur...