
Hadoop
Fan_-_
菜的不行
展开
-
HDFS SnapShot学习
官方文档链接:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html概述 HDFS快照是一个只读的基于时间点文件系统拷贝。可以为文件系统中的某个子目录或者整个文件系统拍摄快照。快照通常用来作为数据备份,防止用户错误和容灾。HDFS快照的创建是高效的: 快照的创建是”瞬间原创 2015-07-26 15:10:09 · 2120 阅读 · 0 评论 -
通过Cloudera Manager修改机架
分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoop集群,由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储,每个bloc原创 2015-07-26 23:21:19 · 2510 阅读 · 0 评论 -
zookeeper无法启动"Unable to load database on disk"
自己的虚拟机集群,一次强制关机后,发现slave2的zookeeper起不来了下午5点29:53.411 INFO org.apache.zookeeper.server.quorum.QuorumPeerConfig Reading configuration from: /var/run/cloudera-scm-agent/process/517-zookeeper-server原创 2015-07-27 17:42:44 · 10157 阅读 · 3 评论 -
通过Cloudera Manager为datanode增加数据目录
CDH4安装成功后,datanode数据默认存放在/dfs目录下。如果dfs目录不是逻辑卷创建的,那么当它使用率过大时,我们需要添加数据目录1.登录Cloudera Manager : http://localhost:7180 2.点击配置—>查看和编辑 3.选择你要添加加数据目录的datanode,点击添加 4.如图,我添加了/fan目录,之后点击保存更改 5.保存后,返回实例页面,选择原创 2015-07-26 23:29:38 · 5518 阅读 · 2 评论 -
HDFS Trash 整理
CM配置步骤:Configuring HDFS TrashThe Hadoop trash feature helps prevent accidental deletion of files and directories. If trash is enabled and a file or directory is deleted using the Hadoop原创 2015-07-28 10:32:33 · 2086 阅读 · 0 评论 -
HDFS HA QJM
本文转载自http://itindex.net/detail/50686-hdfs-ha-qjm本文主要介绍HDFS HA特性,以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。 一、背景 HDFS集群中只有一个Namenode,这就会引入单点问题;即如果Namenode故障,那么这个集群将不可用,直到Namenode重启或者其他Nam转载 2015-07-23 09:46:35 · 724 阅读 · 0 评论 -
Configuring HDFS High Availability
Configuring HDFS High Availability原文请访问 http://blog.youkuaiyun.com/ashic,突袭新闻小灵儿,linux公社,各种爬虫原创 2015-07-23 16:36:59 · 1649 阅读 · 0 评论 -
HDFS NFS Gateway 无法启动、挂载失败问题
转自:http://blog.youkuaiyun.com/feloxx/article/details/49099397如遇到NFS启动失败,或者其他机器挂载NFS失败,错误字样有如下挂载失败关键字: mount.nfs: requested NFS version or transport protocol is not supported启动失败关键字: WARN org.apache....转载 2018-03-06 15:29:36 · 2593 阅读 · 0 评论