- 博客(4)
- 收藏
- 关注
RSS订阅原创 hadoop HA高可用性集群搭建
1、概述 这部分主要描述，在生产环境中，如何来搭建一个高可用性的hadoop集群。在hadoop集群中，NameNode是一个非常核心的组件，上面存储着所有文件的元数据信息，比如文件跟数据块的映射关系，数据块跟集群中节点的映射关系等内容。一旦NameNode出现故障，整个集群将不可用。 NameNode的HA方案，是在一个集群中配置两个Nam...
2016-01-15 12:00:21
280
原创 YARN 和 MapReduce的内存分配公式
这个章节描述在指定的硬件节点上，如何配置YARN 和 MapReduce的内存分配设置。YARN 考虑到了集群上每个机器的可用计算资源，在可用的资源上，YARN 负责处理运行在集群中应用（如MapReduce）的资源请求。YARN 通过分配的Containers为每个应用提供计算资源，在YARN中，一个Container是基本的计算资源(processing capacity)，并且它...
2016-01-12 11:30:56
369
原创 hadoop伪集群模式安装
hadoop可以在单个节点上，用伪分布的模式来运行hadoop的各个组件。 当前机器环境操作系统：64 位 CentOS Jdk版本：1.7.0_79，64位jvm。 准备工作1、 修改hosts为了不需要记住冗长的ip地址，便于识别那个节点，我们修改下hosts，把当前内网ip地址对应成data-1，用root用户修改 /etc/hosts文件，把...
2016-01-07 17:54:15
194
原创 hadoop源码编译
在hadoop的官方网站，每个发行的版本都提供了 源码包 和 编译后的二进制发行包，那如何选择了？下载编译后的包，在系统上解压，设置配置文件后就可以直接使用，但在使用hadoop命名过程中，每次都会显示一个警告，如hadoop fs -ls /WARN util.NativeCodeLoader: Unable to load native-hadoop library for you...
2016-01-07 00:03:15
179
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人