AI吃大瓜的博客

MapReduce框架中map、reduce方法的运行机制       Hadoop的API中提供了Mapper和Reducer抽象类，分别有个抽象map()方法和reduce()方法，使用时只需实现该抽象类和抽象方法即可。       map()方法主要是将字符串解析成键值对（Key-Value）的形式，比如（Key=Hello，Value=1），然后发给Reducer端进行统计。

HDFS写入和读取过程 一、HDFS HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。 目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。H