自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

博主的专栏

Miles from Start to Success ! Comming with smiles !

博客等级

码龄13年

关注

私信

hadoop 文件分块，block与split关系
S_mile_S 回复 shl_gao: 首先，默认一个split含一个block Math.min(goalSize, blockSize)如果实际文件比较小，则按照实际的文件大小进行分块，这种情况是一个block，且这个block的大小为文件大小，如果文件比blocksize大的话按照设定的blocksize进行分块 Math.max(minSize, Math.min(goalSize, blockSize))，确定split的大小，split的最小值minSize由mapred.min.split.size参数设置，正常情况下split大小为block的大小，即里边大小比较得出的结果这样应该比较清晰了吧，里边的比较是确定block的大小，外边是确定split的大小
hadoop 文件分块，block与split关系
shl_gao: long splitSize = computeSplitSize(goalSize, minSize, blockSize); protected long computeSplitSize(long goalSize, long minSize, long blockSize) { return Math.max(minSize, Math.min(goalSize, blockSize)); } 请问上面Math.max(minSize, Math.min(goalSize, blockSize));如何理解？goalSize如果大于blockSize则会选择了blockSize，如果MinSize是1个blockSize的话，最终return都是1个block啊。期待得到您的答复！谢谢！
关于ubuntu发热大，风扇狂转的解决方案
zzzw1993: 牛逼啊大神

关注

关注数：文章数：1 文章阅读量：680 文章收藏量：0

The distance from start to success is miles but not for me with smiles

展开

专栏收录文章

简单解决php编程当中mysql插入中文乱码问题