Hadoop 控制split尺寸

Map Split尺寸配置解析
最新推荐文章于 2024-06-03 19:59:04 发布
原创 最新推荐文章于 2024-06-03 19:59:04 发布 · 372 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文介绍了MapReduce中Map任务Split尺寸的三个关键参数及其计算公式。通过实例展示了如何根据mapred.min.split.size、mapred.max.split.size及dfs.block.size来确定实际的Split大小。
三个参数决定Map的Split尺寸

1.mapred.min.split.size
2.mapred.max.split.size
3.dfs.block.size

根据公式:
max(minimumSize,min(maximumSize,blockSize))
默认情况:
minimumSize < blockSize < maximumSize

例子:
min max block split
1M 100M 64M 64M
128M 512M 64M 128M
1M 32M 64M 32M
个人笔记：分布式大数据技术原理（一）Hadoop 框架
艺术架构
01-06 1736
Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可靠性。
Hadoop中的block Size和split Size是什么关系
时光在路上
04-06 3392
学习hadoop map reduce过程的时候，第一步就是split。我们知道，hdfs中的数据是按block来存储的。问题来了，那么split和block之间是什么关系呢？我google到了stackoverflow上的这篇文章，我觉得这个帖子应该把关系说清楚了，翻译出来，欢迎大家批评指正！以下： 问题 hadoop的split size 和 block size 是什么关系？ 是否 sp...
【hadoop】 4004-Hadoop-2.4.1 版本中map任务待处理split大小的计算方法
艾文
04-05 927
一、MR如何计算splitSize，详见示意图 二、MR如何对小文件进行优化 1、文件上传HDFS前对小文件进行预处理，然后在上传HDFS (sequenceFile,可以对文件进行压缩，压缩后的文件可以直接通过FileInputFormat读取，无需解压） 2、若小文件已经上传hdfs上，可以通过配置文件调整split，让多个block形成一个split
Hadoop新版本中map任务待处理split大小的计算方法
cihongmo6452的博客
07-05 236
1、split大小的计算公式 　　　minSize=max{minSplitSize,mapred.min.split.size} （minSplitSize大小默认为1B） 　　　maxSize=mapred.max.split.size（不在配置文件中指定时大小为Long.MAX_VA...
Hadoop新版和旧版中InputSplit大小的区别
mangoer_ys
05-26 1723
Hadoop旧版中InputSplit的个数由下面三个参数决定：          goalSize：totalSize/numSpilt.totalSize为文件大小，numSplit为用户设定的map task个数，默认为1.          minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.          blockS
hadoop 分片机制
qq_35798758的博客
05-15 1062
hadoop mr 的map端输入默认切片算法： 首先明确几个概念： 最小切片大小: minSplitSize=1 最大切片大小: maxSplitSize=Long.MAX 块大小:blockSize 切片的大小范围值：minSize=max(1,minSplitSize) maxSize=maxSplitSize s...
Hadoop
Amateur_engineer的博客
08-02 2156
​
大数据思维 Hadoop HDFS基本概念【万字详细版】
weixin_55354264的博客
06-03 1390
所谓分而治之就是将一个复杂的东西按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。（例:一家公司，老板接到一个项目，项目在丢给项目经理，项目经理在丢给我们这群苦逼码农，一层一层分解）在大数据中是以海量数据作为切入点进项讲解。所谓的海量数据处理，何为海量，就是数据量太大，跟海一样大，所以会导致我们，导致传统的计算都是去完成计算,前提就是内存能够完整的容纳所有数据。而大数据领域面对的都是 TB 级别起步的数据量。
Hadoop生态——HBase
weixin_47391932的博客
09-10 1187
HBase 1.为什么用HBase存储？ HBase(Hadoop Database)是一个高可靠性，高性能，可伸缩，面向列的分布式数据库（也许叫做存储系统会更加贴切）。 HBase与Hadoop的关系非常紧密，Hadoop的HDFS提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定性及failover机制的保障。同时其他周边产品诸如Hive可以与HBase相结合使在HBase进行数据统计处理变得简单，Sqoop为HBa
笔记：分布式大数据技术原理（一）Hadoop 框架
WeeeicheN 的博客
07-20 1349
前言-从 Hadoop 说起 什么是 Hadoop Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可用性。 Hadoop 中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MapReduce —— 实现在很多机器上...
Hadoop中分片split的原理解析
jinYwuM的博客
08-06 4561
一、定义 1、block：block是物理切块，在文件上传到HDFS文件系统后，对大文将以每128MB的大小切分若干，存放在不同的DataNode上； 2、split：split是逻辑切片，在mapreduce中的map task开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个split，默认是split的大小与block的大小相等，均为128MB。 注意：在hadoop1....
【hadoop】split大小设置和map数量设置
开发随笔-猫咪酱
05-08 2875
三个参数决定split 1.mapred.min.split.size 2.mapred.max.split.size 3.dfs.block.size 根据公式: max(minimumSize,min(maximumSize,blockSize)) 默认情况: minimumSize < blockSize < maximumSize min默认为1，max默认为long类型...
hadoop之数据分片（split）详解以及map数量控制
君永夜
04-07 5915
1.分片（splits）相关概念 由InputFormat这个接口来定义的，其中有个getSplits方法。这里有一个新的概念：fileSplit。每个map处理一个fileSplit，所以有多少个fileSplit就有多少个map（map数并不是单纯的由用户设置决定的）。 我们来看一下hadoop分片splits的源码： long goalSize = totalSize / (numSplit...
MapReduce Input Split（输入分/切片）详解
热门推荐
光于前裕于后的博客
04-14 3万+
看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。 Hadoop 2.x默认的block大小是128MB，Hadoop 1.x默认的block大小是64MB，可以在hdfs-site.xml中设置dfs.block.size，注意单位是byte。 分片大小范围可以在mapred-site.xml中设置，mapred.min.split.size mapred.max.split.size，minSplitSize大小默认为1B，maxSplitSize大小默认为Long.MAX_VALUE = 92
考究Hadoop中split的计算方法
呼呼的小窝
08-24 2068
Hadoop中block块大小和split切片大小会影响到MapReduce程序在运行过程中的效率、map的个数。在本文中，以经典入门案例WordCount为例，通过debug的方式跟踪源代码，来分析hadoop中split的计算方法。
hive优化总结
xuxu96
04-04 4701
1.我们知道大数据场景下不害怕数据量大，害怕的是数据倾斜，怎样避免数据倾斜，找到可能产生数据倾斜的函数尤为关键，数据量较大的情况下，慎用count(distinct)，count(distinct)容易产生倾斜问题。 2.设置合理的map reduce 的task数量 map阶段优化 mapred.min.split.size: 指的是数据的最小分割单元大小；min的默认值是1B mapred.m...
如何在hadoop中控制map的个数
lylcore的专栏
06-20 2万+
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。      为了方便介绍，先来看几个名词： block_size : hdfs的文件块大小，默认为64M，可以通过参
hadoop中hive与mapreduce小文件合并优化实操（超强详解！！！）
CLKTOY的博客
09-09 1566
目录1-背景1.1-造成大量小文件的原因：1.2-小文件的危害：2-解决方案实操2.1-解决方案12.2-解决方案22.3-解决方案33-总结扩展3.1-总结3.2-扩展（map任务数量的准确控制） 1-背景 公司数据治理过程中，发现apache hadoop大数据环境下hdfs中有数量惊人的小文件。 如图所示为hdfs的web管理页面： 如上图所示可以看到hive中的这个表的20200630这个分区中有551个数据文件。 但是我们可以看到hdfs中的默认设置每个块大小为256M，而该表分区存储数据的
在hadoop中如何进入本地调试、及如何设置split的大小
caoyaqi的博客
12-16 1002
//在mapreduce中，如果想进入debug模式进行调试，则需要在main函数中去掉下面一行代码：Configuration conf = new Configuration();conf.set("mapred.job.tracker", "master:9001");//这行不能要，否则进入集群模式，不能单步调试，不设置jobtracker默认进入本地模式//在hadoop中设置每个spl
基于hadoop配置spark
最新发布
03-29
### 配置Spark在Hadoop基础之上 为了在现有的Hadoop环境中成功部署和运行Spark应用，需要完成一系列必要的配置调整。以下是关于如何实现这一目标的关键点： #### 1. 创建并初始化`SparkConf` 当希望避免硬编码某些配置项时，可以通过动态方式创建一个空的`SparkConf`对象，并通过API设置所需的属性[^1]。例如，在启动集群之前，可以指定与Hadoop兼容的相关参数。 ```scala val conf = new SparkConf() .set("spark.hadoop.fs.defaultFS", "hdfs://namenode:8020") .set("spark.hadoop.mapreduce.input.fileinputformat.split.maxsize", "134217728") // 初始化SparkContext val sc = new SparkContext(conf) ``` 上述代码片段展示了如何利用`SparkConf`来定义特定于Hadoop环境的选项，比如默认文件系统路径以及输入分片的最大尺寸。 --- #### 2. 设置Oozie工作流支持多令牌认证 对于依赖Apache Oozie调度器的应用程序而言，必须确保其能够获取到所有必需的安全令牌以便正常访问各类服务资源[^2]。这包括但不限于YARN Resource Manager、本地/远程HDFS存储位置以及其他可能涉及的服务组件（如Hive或HBase）。 具体操作如下所示： - 编辑作业XML描述文档中的`<action>`节点部分； - 添加对应的数据源URI地址及其关联的身份验证机制说明； 这样做有助于简化跨平台协作流程的同时也增强了系统的整体安全性水平。 --- #### 3. 清理容器日志策略优化建议 为了避免长时间积累下来的无用历史记录占用过多磁盘空间，默认情况下不会自动删除旧版的日志文件副本[^3]。因此推荐采取以下措施加以改进: 更新全局范围内的yarn-site.xml配置文件内容之后重启相应名称服务器进程即可生效。值得注意的是即使完成了以上步骤仍然有可能存在遗留数据未被及时清除的情况发生所以还需要定期执行手动干预清理任务以维持良好的性能表现状态. --- #### 4. JVM重用功能启用指南 适当开启JVM复用模式可以帮助减少频繁加载卸载带来的额外开销从而提升整个计算框架的工作效率[^4]. 只需简单修改mapred-site.xml内部相关字段数值便可轻松达成目的 : ```xml <property> <name>mapreduce.job.jvm.numtasks</name> <value>15</value> <description>控制单个jvm可重复使用的最大次数.</description> </property> ``` 此处我们将该值设定为15意味着每一个独立java虚拟机最多允许连续处理十五批次子任务单元后再予以释放销毁回收再利用节省宝贵硬件算力成本投入产出比更高更经济实惠划算得多! --- ### 总结 综上所述,合理规划好各项技术细节方面的安排才能充分发挥出各自优势特点最大化业务价值创造潜力无限可能性等待探索发现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值