mapreduce
关注
分享
扫一扫
文章平均质量分 77
Blossomy
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ArrayWritable实例
概述作用Array类构造示例Array类使用示例作用类似于java的动态数据ArrayList，可以在不知有多少数据量的情况下，动态向里面加数据Array类构造示例数组里添加很多歌Text，类似于ArrayListpublic class CookieArray extends ArrayWritable{ public CookieArray(原创 2013-01-07 18:21:20 · 3730 阅读 · 0 评论 -
多线程map
概述作用应用场景效果代码示例作用想在 map 或 reduce 里启动多线程应用场景map reduce 端 cpu 型作业效果公司原来一个 cpu 型算法作业，20 台服务器 以前运行需 55 个小时左右，改用我自己改进的多线程后，同样的前提条件，只须运行 7 小时代码示例多线程map 示例代码自带的 多线程map原创 2013-01-08 15:23:58 · 1622 阅读 · 0 评论 -
mapreduce编程过程
概述流程图默认类wordcount完整示例流程图mapreduce完整流程默认类和上边流程图里的类对应inputformatTextInputFormatrecordreaderLineRecoredReaderinputSplitFileSplitMap不知道combi原创 2013-01-07 19:37:51 · 1772 阅读 · 0 评论 -
mapreduce分布式缓存
概述作用应用场景示例作用将hdfs中的文件copy到本地map/reduce程序端，供map/reduce端代码使用应用场景大文件与小文件合并操作，如大文件10G，小文件10M，并且输入格式可以完全不一样示例主函数端代码public static void main(String[] args) throws Exception {原创 2013-01-07 16:05:58 · 746 阅读 · 0 评论