
Hadoop
金鳞踏雨
断剑重铸之日,就是归来之时。
展开
-
Hadoop 中的Hadoop fsck
我们知道fsck是用来检测hdfs上文件、block信息的,但是fsck输出的结果我们是否能看明白呢?参数解释:status:代表这次hdfs上block检测的结果Total size: 代表/目录下文件总大小Total dirs:代表检测的目录下总共有多少个目录Total files:代表检测的目录下总共有多少文件Total symlinks:代表检测的目录下有多少个符号连接Total blocks(validated):代表检测的目录下有多少个block块是有效的Min转载 2020-09-17 20:39:35 · 1189 阅读 · 0 评论 -
Hadoop的MapReduce的WordCount实验——Java代码
WordCountMapper.javapackage MapReduce;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoo.原创 2020-05-17 02:48:15 · 539 阅读 · 0 评论 -
Hadoop中使用jps,Datanode没有启动
一般情况下,出现这一种情况(Namenode启动,但是Datanode没有启动)出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。解决方法(1)作为初学者,使用hadoop主要是为了熟悉...原创 2020-04-24 01:59:12 · 498 阅读 · 0 评论