
读书笔记
文章平均质量分 86
qql2011
这个作者很懒,什么都没留下…
展开
-
《hadoop权威指南》辅助排序
MaxTemperatureUsingSecodarySort.java : package com.hadoop.ncdcdata; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; ...原创 2019-12-18 15:44:33 · 213 阅读 · 0 评论 -
《hadoop权威指南》读书摘要
1、MapReduce执行流程 RecordReader->读取文件数据,将数据拆分为kv对 map阶段->调用用户定义程序处理kv对,并对数据进行分区(job.setPartitionerClass)后存储到“环形内存缓冲区”, 当缓冲区达到一定阈值时(默认80%),会启动后台线程将部分数据溢出写入(spill)磁盘的临时文件中, 将数据写入文件...原创 2019-12-18 15:38:45 · 226 阅读 · 0 评论 -
【数据结构与算法经典问题解析】直方图中最大矩形
出自第四章问题24 问题24 直方图中的最大矩形: 直方图是由排列在同一基线上的一系列矩形组成的多边形。为了简单起见,假设这些矩形的宽度相等但高度可能不同。例如,下图1给出了一个直方图,其中各个矩形的高度为3、2、5、6、1、4、4,宽度为标准1单位。当给定了一个保存所有矩形高度的数组时,如何找到其中最大的矩形。对于给定的例子,最大矩形如图2阴影部分所示: 图1 图2原创 2016-12-30 15:30:46 · 974 阅读 · 0 评论