
hadoop
文章平均质量分 77
iteye_19838
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop伪集群配置
1. 将hadoop与主机连接方式设置成host-only,并设置静态地址 http://oracle-api.iteye.com/admin/blogs/2304613 2. 修改主机名 vi /etc/sysconfig/network 验证:重启 reboot 3. 修改hostname和IP绑定 vi /etc/hosts ...原创 2016-06-13 14:44:19 · 129 阅读 · 0 评论 -
Hadoop HA高可用配置
【注:文中配置未实际验证】 一) 配置: 修改hdfs-site.xml 1. dfs.nameservices - the logical name for this new nameservice Note: If you are also using HDFS Federation, this configuration setting should also i...原创 2017-04-09 13:04:47 · 164 阅读 · 0 评论 -
Yarn HA高可用配置
yarn-site.xml <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.reso原创 2017-04-09 13:45:50 · 224 阅读 · 0 评论 -
Federation 简介
HDFS的局限性(HDFS只有一个active的namenode): 1. 在name中存储所有的元数据(metadata),因此单个namenode所能存储的对象(块+文件)数据受到namenode所在JVM的heap size的限制。 2. 整个HDFS文件系统的吞吐量受限于单个namenode的吞吐量 3. 无法隔离namespace Federation HDFS ...原创 2017-04-09 14:26:55 · 586 阅读 · 0 评论 -
几种序列化的实现方法 java自带, Writable, Avro
package org.hdp.practice.serial; import java.io.DataInputStream; import java.io.DataOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; imp...原创 2017-04-19 16:05:19 · 202 阅读 · 0 评论