
mapreduce
大树叶
宠辱不惊,看庭前花开花落;去留无意,望天空云卷云舒。
展开
-
MapReduce优化: Combiner和Partitioner
在hadoop Mapreduce优化技术中,总会涉及到Combiner和Partitioner,Combiner和Partitioner是用来优化MapReduce的。可以提高MapReduce的运行效率,下面就来谈谈这两种技术及其简单的使用。1 Combiner技术Combiner是一个本地化的reduce操作,它是map运算的后续操作,主要是在map计算出中间文件前做一...原创 2020-01-17 16:14:54 · 482 阅读 · 0 评论 -
在Hadoop或者Mapreduce 使用压缩或者解压文件的技术研讨
在Hadoop或者Mapreduce 使用压缩或者解压文件的技术时,都基本会用到CompressionCodecFactory,下面就来浅讨如何使用它。CompressionCodecFactory简介 当在读取一个压缩文件的时候,可能并不知道压缩文件用的是哪种压缩算法,那么无法完成解压任务。在Hadoop中,CompressionCodecFactory通过使用其getCodec(...原创 2020-01-17 14:42:03 · 364 阅读 · 0 评论 -
Mapreduce CombineFileInputFormat 的使用例子
CombineFileInputFormat是一个抽象类,Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。参考:解读:MR多路径输入和解读:CombineFileInputFormat类下面是JAVA例子对于单一输入路径情况://指定输入格式CombineFileInputFormat...原创 2019-08-10 12:53:39 · 425 阅读 · 0 评论