
Hadoop-HDFS
文章平均质量分 63
DV2
DV2.0 | 数据仓库、元数据,主数据,数据治理,建模 | Hadoop、Spark、Hive | 管理
展开
-
Hadoop 2.7.1 集群模式安装【三】环境配置实战
基于hadoop2.7.1的详细安装,参照官方集群配置手册对hadoop进行了详细的安装配置说明。这里并没有涉及到高可用,高可用在接下来的一章中进一步详细说明原创 2015-12-11 13:53:31 · 1200 阅读 · 0 评论 -
Cloudera升级☞第一篇Cloudera Manager升级
概述 我们升级是从5.5.3升级到最新的5.7.0-1版本。升级Cloudera Manager Server升级Cloudera Manager Agent完全离线方式升级cloudera原创 2016-06-03 16:08:49 · 9322 阅读 · 0 评论 -
解决DataNode Volume Failures故障
hadoop集群有一台DataNode节点发生硬件故障,由于后需需要长时间的处理,所以从Cloudera集群中剔除了该节点,在重新将该节点添加到集群时候发现DataNode节点爆DataNode 卷故障阈值警告二、解决过程2.1、排查故障排查DataNode日志发现如下错误:org.apache.hadoop.hdfs.server.datanode.DataNode: Failed to add volume:原创 2016-06-02 13:42:11 · 10348 阅读 · 0 评论 -
Hadoop网络拓扑
详述Hadoop集群中如何进行网络拓扑的介绍原创 2016-05-31 15:43:10 · 6000 阅读 · 0 评论 -
Cloudera 向集群添加主机
本文将概述使用Cloudera Manager向集群中添加主机的操作。首先,我们这里是采用的离线安装模式安装的,所以对于你新的主机你必须配置好如下几个内容:安装好JDK安装好Cloudera Manager Agent配置Agent指向Server操作流程Created with Raphaël 2.1.0添加节点在CM界面选择主机向集群添加新主机选择管理的主机(确保你已经配好了Agent服原创 2016-06-02 11:15:36 · 4923 阅读 · 0 评论 -
Cloudera namenode 重启失败
Service did not start successfully; not all of the required roles started: Service has only 0 NameNode roles running instead of minimum required 1.Command aborted because of exception: Command timed-out aft原创 2016-05-12 11:49:19 · 10929 阅读 · 0 评论 -
Cloudera Hadoop集群添加
概述本文将详细概述使用Cloudera Manager进行Hadoop集群动态添加和删除节点注意我们这里采用的Cloudera 的C方案进行安装集群的,所以在添加节点之前务必在新增节点添加Agent服务和JDK一、准备环境cloudera-manager-daemons,cloudera-scm-agent原创 2016-05-24 16:04:03 · 2425 阅读 · 0 评论 -
hadoop 2.7.2开发环境配置
概述本文基于ubuntu15 + eclipse4.5.2配置完成。 由于hadoop最新源码基于windows平台编译非常非常费劲,所以直接搞成ubuntu简单快捷省去N多麻烦事环境ubuntu 15 x64eclipse 4.5.2Oracle JDK 1.8Maven 3.3参考Hadoop2.7.2 Source Codehadoop-2.7.2-src/BUILDING.tx原创 2016-03-15 23:15:28 · 825 阅读 · 0 评论 -
hadoop 之eclipse插件定做
hadoop2.7.1 eclipse插件编译原创 2015-12-29 00:48:33 · 694 阅读 · 0 评论 -
hadoop fsck
Runs a HDFS filesystem checking utilityUsage: hdfs fsck [GENERIC_OPTIONS] [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]] [-includeSnapshots]这工具是原创 2016-06-06 15:27:57 · 1117 阅读 · 0 评论