lm709409753的专栏

觉得这几篇文章写的不错，受益很多，收集一下；都是关于自定义inputformathttp://blog.youkuaiyun.com/xiaomin1991222/article/details/50981362http://irwenqiang.iteye.com/blog/1448164

问题描述机房测试环境由于停电原因，再次启动namenode节点报错，启动不了，出现如下错误：org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile解决办法把已经启动的namenode节点的元数据信息拷贝到standby节点上，然后再次启动namenode节点。 不推荐重新格式化had

nodemanager log内容yarn web日志修改删除数据目录下不需要的内容，系统可用 参考博客： http://blog.youkuaiyun.com/duyuanhai/article/details/54908382

安装jdk,并配置环境变量,此版本的hadoop，jdk要使用jdk 7的，jdk 8会出现异常。 安装protobuf ,版本为2.5.0 安装之前，先要安装一些依赖库 yum install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev$ ./configure$ make$ make check

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明H

分析网站基本指标PV网站基本指标1.     (Page View)，网站浏览量，指页面的浏览量或点击次数，用户每次刷新即被计算一次。如果用户刷新了页面100次，那么，流量统计工具就会显示100个“PV”量。这就是“PV”在流量统计中具体的一个定义了；2.     (Unique Vistor)，独立访客数，指1天内访问某站点的人数，以cookie或者用户唯一ID为依据。1天内同一访客

1.官网resourcemanager HA IntroductionThis guide provides an overview of High Availability of YARN's ResourceManager, and details how to configure and use this feature. The ResourceManager (RM)

由于单个namenode节点挂掉之后，整个集群就不会提供服务，为此，提出了HA，增加另一个namenode节点，做热备。（配置HA架构之前，关闭整个集群） 1、JournalNode-》轻量级-》存储日志文件的 2、两个namenode管理的是同一个元数据 3、首先将core-site.xml 4、将hdfs-site.xml中的SNN删除 5、配置namese

这个问题我在网上度娘了很多，都是让去重新格式化namenode,但是这种做法太狠了，，，，，很多东西，就会没了，最后还是没忍心去做。 然后我到Hadoop安装的目录下去看看，在存放的tmp有很多未执行的jar,删除之后，重新启动，就可以使用了。 还好没放弃。哈哈，，，，我是执行bin/hdfs dfs -put wc.input /sparktest 上传文件的时候出现错误的；错误如下：17/

我安装的时候，使用“一起写office”编写的，发到博客上会有一些问题，在这里发出我的共享地址，https://yiqixie.com/d/home/fcADgIxvDWA2fVPI5Jo8GPOvK

cdh apache 下载地址1.apache http://archive.apache.org/dist/hadoop/common/2.cdh http://archive.cloudera.com/cdh5/cdh/5/避免找错