
hadoop 2.x.x
文章平均质量分 68
戴桥冰
游山玩水、发奋图强、做好自己
展开
-
hadoop中的HDFS
namenode和datanode的比较:namenodedatanode存储元数据存储文件内容元数据保存在内存中文件内容保存在磁盘保存文件,block,datanode之间的关系维护了block id到datanode本地文件的映射关系 元数据: 除了文件内容之外的数据。原创 2015-10-16 16:53:04 · 908 阅读 · 0 评论 -
hadoop 2.x.x的目录结构
hadoop2.x.x的目录结构如下所示: bin:最基本的管理脚本和使用脚本的所在录,这些脚本是sbin目录下管理脚本的基本实现,用户可以直接使用这些脚本管理和使用Hadoop。 etc:Hadoop配置文件所在的目录,包括core-site.xml,hdfs-site.xml,mapred-site.xml等从hadoop1.x.x继承过来的以及包原创 2015-10-10 14:06:13 · 1097 阅读 · 0 评论 -
hadoop2.x.x 伪分布式安装
软件的安装目录: /opt/modules/ 安装: 0)说明 1、系统:CentOS 6.4 64位 2、关闭防火墙和SELinux service iptables status service iptables stop ch原创 2015-10-11 19:48:12 · 368 阅读 · 0 评论 -
Hadoop家族产品学习路线图
1. Hadoop家族产品截止到2013年,根据cloudera的统计,Hadoop家族产品已经达到20个!http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/接下来,我把这20个产品,分成了2类。第一类,是我已经掌握的第二类,是TODO准备继续学习的转载 2015-10-14 19:48:21 · 429 阅读 · 0 评论 -
hive安装过程中遇到的一些问题以及解决方案
出现问题一: Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmp原创 2015-11-17 21:20:46 · 863 阅读 · 0 评论 -
hadoop2.x集群的安装
安装CDH5一、说明1. 本文档以四台机器为例搭建hadoop集群,各台机器的职责如下:此集群主要包括Namenode HA和RresourceManager HA,这是本文重点所在。 hadoop1hadoop2hadoop3hadoop4NameNod转载 2015-10-21 14:48:45 · 739 阅读 · 0 评论