
CenterOS7 HadoopCDH6.3.1运维
CenterOS7 HadoopCDH6.3.1运维
牵牛刘先生
曾任职于用友政务软件JAVA大数据工程师,目前任职于河南丰博计量创新研究院云平台部部长,河南丰博水联网研发部智慧水务项目负责人及产品经理,河南丰博智能水联网有限公司技术研发部部长。
展开
-
【大数据集群运维】如何给Cloudera Enterprise 6.3.x 管理下的Hadoop大数据集群中的各个主机添加集群功能和分配功能角色
一功能分配 1.文档编写目的 本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量,真实要部署的哪些服务,硬件资源,配置,以及其他因素。当你使用Cloudera Manager的安装向导来安装CDH时,CM会根据主机的可用资源,自动的分配角色到各台主机,边缘节点除外。你可以在向导中使用”自定义角色分配 - Customize Role Assignments”来更改这些默认划分,当然你也可以以后再使用Cloudera Manager来增加或修原创 2020-05-14 11:14:10 · 792 阅读 · 0 评论 -
【大数据集群运维】解决使用Cloudera Manager 启动HDFS时遇到的问题: /tmp/.cloudera_health_monitoring_canary_files 创建父目录
1 HDFS 金丝雀 Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 1 检查hdfs是否处于safemode,正常是off [root@shuang conf.cloudera.hdfs]# hdfs dfsadmin -safemode get Safe mode is OFF 2 检查hdfs datanode是否健康,磁盘空间是否空闲,可自行上传文件测试 [root@shuang conf.cloudera.hd原创 2020-05-13 11:15:39 · 1522 阅读 · 1 评论 -
【大数据集群运维】VMware虚拟机扩展Linux的root根目录磁盘空间(Centos7)
一、Centos 关机,选择编辑虚拟机设置,硬盘,在实用工具那里选择“扩展” 二、启动客户机操作系统Centos,在操作系统内部对磁盘重新分区和扩容 1 fdisk -l Disk /dev/loop0: 107.4 GB, 107374182400 bytes 255 heads, 63 sectors/track, 13054 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physic原创 2020-05-12 14:02:37 · 4062 阅读 · 0 评论