spark使用自定义Hadoop的FileInputFormat读取hdfs上的数据

最新推荐文章于 2025-04-02 10:35:59 发布
原创 最新推荐文章于 2025-04-02 10:35:59 发布 · 4k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

当遇到HDFS文件中记录跨block且存在转义换行符时，Spark默认的RecordReader无法正确处理。文章介绍了这种情况并提供了解决方案，即通过重写Hadoop的FileInputFormat类，定制记录分隔符，确保正确读取文件中的数据。

比如：一个300MB的文件，其中包含6条记录，每条记录300/6=50MB，该文件在hdfs上分了3个block，每个block为128MB，如上图，第3、6个记录跨block了。如下图所示。

inputsplit1

为了处理改文件，spark在每个数据节点上创建executor，这些executor负责读取自己的数据。

  1. Block 1 上的Executor 1 读取3条记录作为输入，其中本地读Line1、Line2，本地和远程读Line3
  2. Block 2 上的Executor 2 读取后3条记录作为输入，其中本地读Line4、Line5，本地和远程读Line5
  3. Block 3 上的Executor 3 不读取数据

上述的解释可以参考：

https://hadoopi.wordpress.com/2013/05/27/understand-recordreader-inputsplit/

https://www.ae.be/blog-en/ingesting-data-spark-using-custom-hadoop-fileinputformat/

htt

最低0.47元/天 解锁文章

新学期VIP享超值加赠
Java 大数据处理：使用 Hadoop 和 Spark 进行大规模数据处理
shrgegrb的博客
05-30 1388
本文介绍了Java在大数据处理中的应用，重点对比Hadoop和Spark两大框架。Java凭借跨平台性和稳定性成为大数据处理的核心语言。Hadoop基于HDFS和MapReduce实现分布式存储与批处理，适合海量静态数据处理；Spark则通过内存计算和RDD抽象提供更快的处理速度，适合迭代计算和实时分析。文章详细讲解了两者的环境搭建和编程示例，并指出Hadoop适合大规模批处理，而Spark更适用于快速处理、实时计算等场景。开发者应根据具体需求选择合适的框架。
自定义InputFormat案例-（合并文件）
TrueDei
02-01 778
引言 无论HDFS还是MapReduce，在处理小文件时效率都是非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应的解决方案。可以自定义InputFormat实现小文件的合并。 需求 将多个小文件合并成一个SequenceFile文件(SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式)，SequenceFile里面存储着多个文件，存储的形式为路...
Spark通过自定义InputFormat读取HDFS文件实现稍微复杂的业务场景
weixin_39011791的博客
09-10 1284
业务场景 Spark根据InputFormat可以知道如何读取文件 默认根据一行来读取在用户没在按照指定的换行符情况下是按照空格来区分的 但是在一些特定的情况下spark默认的InputFormat就不太管用了 最近小编在公司的一个需求中就遇到了下面的问题 大数据部分ETL每天会清洗数据成一个json字符串写到HDFS文件中写到文件格式如下 {"queryType":"BASIC","se...
Spark with Hadoop InputFormat
Jack‘s bolg
02-28 7026
基于Yarn的，使用新的API，SBT需要添加，默认是用的1.0.4的client libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.2.0" 代码如下 package myclass import org.apache.spark.SparkContext import org.apache.hadoop.
Spark - newAPIHadoopFIle 获取文件与文件路径 By Scala
BITDDD小栈
09-14 2682
一.引言 离线日志通常使用 dt，hour，min 或者使用 timeStamp 作为累计文件的命名方式，对于文件日志中不包含时间戳或者时间信息的日志内容，为了获取其对应创建时间与文件属性，需要读取文件时同时获取其 File 对应的 FileSplit 类。 二.实践 1.思路 A. sc.newAPIHadoopFile 读取输入获得 RDD[(LongWritable, Text)] B. asInstanceOf 转换为 NewHadoopRDD[LongWritable, Text].
spark通过实现FileFormat方式读取自定义文件格式
weixin_43029346的博客
03-02 2362
Spark内部已经实现了很多常用数据源的适配，对于不支持的自定义的数据源，也提供了相应的接口。最近刚好遇到需要通过Spark读取在HDFS上的自定义文件格式的需求，网上找到的很多资料都以实现 CreatableRelationProvider 接口、继承 BaseRelation 类的方式来实现，这种方式在数据读取时需要实现以下三个 trait 中的一个： @InterfaceStability.Stable trait TableScan { def buildScan(): RDD[Row] }
【spark】自定义数据读取的InputFormat（异常：incorrect data check）
lsr40的博客
03-31 2885
其实大多数场景下，各种大数据框架预定义的InputFormat（数据读取器）是够用的，除了一些比较特殊的情况，特殊的数据格式，我们才会需要自定义读取数据的方式。 然后有一天，我在接入一个hdfs上gz格式数据的时候，遇到了一个报错： 仔细看了报错，是输入流在read数据的时候，调用LineRecordReader的nextKeyValue方法报错了，百度了下，没有什么太准确的答案，大致来说...
大数据处理与分析：Hadoop与Spark实战
最新发布
shejizuopin的博客
04-02 999
Hadoop是一个开源的分布式计算平台，由Apache软件基金会开发。它提供了分布式文件系统HDFS（Hadoop Distributed File System）和分布式计算框架MapReduce，能够处理PB级别的海量数据。Spark是一个快速通用的集群计算系统，同样由Apache软件基金会开发。
Java中的大数据算法：如何使用Hadoop与Spark处理海量数据
微赚淘客系统开发者博客
08-25 453
通过在Java中实现Hadoop MapReduce和Spark任务，我们可以高效地处理海量数据，并将数据分析应用到实际场景中。Hadoop和Spark是两个广泛使用的大数据处理框架，能够高效地处理和分析大量的数据。本文将介绍如何在Java中使用Hadoop和Spark进行大数据处理，包括基本的配置、常见的操作和示例代码。在这个示例中，我们使用Spark的Java API来实现一个简单的单词计数功能。我们从文本文件中读取数据，将数据分割成单词，映射成键值对，然后对键值对进行归约，计算每个单词的总数。
Java在大数据处理中的应用：Hadoop与Spark
微赚开发者技术分享博客
08-11 787
Hadoop的MapReduce适用于批处理任务，而Spark则提供了更高效的数据处理能力和丰富的API支持。大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java在大数据处理中的应用，重点介绍Hadoop和Spark这两个流行的框架，并提供一些实际的代码示例，帮助大家更好地理解如何使用Java进行大数据处理。在这个示例中，我们创建了一个简单的WordCount程序。首先，我们读取文本文件，然后将每行拆分为单词，接着将单词映射到一个计数值，并通过。
Spark：用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题
weixin_34143774的博客
01-07 367
http://www.cnblogs.com/yurunmiao/p/5195754.html 原始读法： lines = sc.textFile("hdfs:///dir/") 这样一个block会形成一个partition，对应一个task。 优化读法： lines = sc.newAPIHadoopFile( "hdfs:///dir/"...
黑猴子的家：Spark RDD 之 Hadoop 输入输出（数据读取与保存的主要方式之一）
黑猴子的博客
06-09 982
1、hadoopRDD和newHadoopRDD Spark的整个生态系统与Hadoop是完全兼容的,所以对于Hadoop所支持的文件类型或者数据库类型,Spark也同样支持.另外,由于Hadoop的API有新旧两个版本,所以Spark为了能够兼容Hadoop所有的版本,也提供了两套创建操作接口.对于外部存储创建操作而言,hadoopRDD和newHadoopRDD是最为抽象的两个...
FileInputFormat原理与用法
greahuang的专栏
04-17 1054
fsdfsdf
fileInputformat切片总结
张不帅
11-11 897
FileInputFormat源码解析(input.getSplits(job)) 找到你数据存储目录 开始遍历处理(规划切片)目录下的每一个文件 遍历第一个文件 aa.txt (1) 获取文件大小fs.sizeOf(aa.txt) (2)计算切片的大小 computeSliteSize(Math.max(minSize,Math.max(maxSize,blocksize)))=bl...
大数据之Hadoop(MapReduce)：FileInputFormat，CombineTextInputFormat切片机制
weixin_43597208的博客
06-04 337
目录1.FileInputFormat切片机制1.1：切片机制1.2：案例分析1.3：FileInputFormat切片大小的参数配置2.CombineTextInputFormat切片机制2.1：FileInputFormat切片机制的缺陷：2.2：CombineTextInputFormat切片机制2.3：案例分析 1.FileInputFormat切片机制 1.1：切片机制 1.简单地按照文件的内容长度进行切片； 2.切片大小，默认等于block大小； 3.切片时不考虑数据集整体，而是逐个针对每一个文
spark之用hadoopAPI读写文件
热门推荐
帆了个帆的专栏
06-09 1万+
saveAsNewAPIHadoopFIle和saveAsHadoopFile的的区别 引用的outputFormat的类路径不同，saveAsNewAPIHadoopFIle用的OutputFormat是import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat，saveAsHadoopFile用的是org.apache.had...
【MapReduce】基础案例 ---- CombineTextInputFormat切片
懂得一千零一种,赋予你失败的方法！
01-08 784
文章目录CombineTextInputFormat切片● CombineTextInputFormat切片机制● CombineTextInputFormat案例1. 需求2. 编写代码运行Mapper端Reducer端Driver端● 补充说明 CombineTextInputFormat切片 框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其..
spark 问题锦集
weixin_42438913的博客
06-29 513
1、spark程序jar与spark lib jar冲突，加载顺序 提交spark作业经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的jar包冲突问题 比如spark程序用到了guava的Splitter类： import com.google.common.base.Splitter; ... List list = Splitter.on("/").splitToList(output); 程序在本地模式下能正
Hadoop（三）——MapReduce③框架原理
zz60708320的博客
10-15 345
一、InputFormat数据输入 1.1 切片与MapTask并行度决定机制 数据块：Block 是 HDFS 物理上把数据分成一块一块 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。 1）一个 Job 的 Map 阶段并行度由客户端在提交Job时的切片数决定。 2）每一个 Split 切片分配一个MapTask并行实例处理。 3）默认情况下，切片大小=Bl...
基于HDFS和Spark的视频非结构化数据智能分析系统
资源摘要信息:"人工智能-hadoop-基于hdfs spark的视频非结构化数据计算" 本项目围绕利用分布式计算框架处理视频等非结构化数据的核心问题，构建了一个基于Hadoop的HDFS存储和Spark处理的系统。视频数据作为一种典型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值