花驴的博客

工作中做资源服务器时用到了HDFS作为资源底层存储,记录一下使用的API public class HdfsUtil { private static final Logger logger = LoggerFactory.getLogger(HdfsUtil.class); private HdfsUtil() { } private sta...

Hadoop复习回顾 1. HDFS分布式文件存储系统 1.1 HDFS的架构 主从架构,可以配置主节点的主备架构 冷备份 热备份 HDFS的元数据: fsimage:元数据镜像文件,较为完整的一份元数据 edits:元数据的操作日志(一小部分元数据,用作缓冲) namenode内存中存储的是:fsimage+edits SecondaryNameNdoe:定时定量合并fsimage和edit...

1. WordCount V1.0 public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWrita...