hadoop
关注
分享
扫一扫
文章平均质量分 80
大浪淘沙2023
可以叫我码农，也可以叫我程序猿!
展开
-
一键式完全删除CDH 6.3
#!/bin/bash # 停止CM服务 service cloudera-scm-server stop service cloudera-scm-agent stop # 卸载CM软件包 yum -y remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server # 卸载装载点 umount cm_processes umount cm_processes umount cm_processes ...原创 2022-02-09 15:36:04 · 827 阅读 · 0 评论 -
Format aborted in /coolpad/data/hadoop/hdfs
1.初始化集群时出现如下错误： Format aborted in /coolpad/data/hadoop/hdfs 14/06/16 11:47:24 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shu原创 2014-06-16 12:02:45 · 1175 阅读 · 0 评论 -
mapreduce中控制mapper的数量
很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导转载 2014-09-30 11:39:09 · 496 阅读 · 0 评论