at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(Serializat

最新推荐文章于 2025-09-30 15:00:49 发布

原创最新推荐文章于 2025-09-30 15:00:49 发布 · 198 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #java

DataMining 专栏收录该内容

30 篇文章

订阅专栏

本文探讨了Hadoop运行job时出现的NullPointerException异常，并详细分析了异常产生的原因。通过检查SequenceFileOutputFormat源码，发现该类未实现序列化接口，从而导致job输出时发生错误。

Hadoop运行job的时候抛出异常如下：

java.lang.NullPointerException
at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:823)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:557)

核实代码如下：

	        job.setOutputValueClass(SequenceFileOutputFormat.class);
		job.setInputFormatClass(SequenceFileInputFormat.class);

查看SequenceFileOutputFormat源码发现此类没有实现序列号接口，output的数据格式需要实现序列号接口

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dataee

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Could not find a deserializer for the Value class: 'org.apache.hadoop.hbase.client.Result

杨鑫newlife的专栏

04-21

1394

最近在写Spark读取Hbase导出的文件时，常遇到这个问题，报错找不到'org.apache.hadoop.hbase.client.Result。试了很多种办法，最后是在代码中添加如下：hbaseConf.setStrings("io.serializations",newString[]{hbaseConf.get("io.serializations"), MutationSerializ...

NullPointerException SerializationFactory.getSerializer解决

BlackWing

12-04

181

转载请标明出处：http://blackwing.iteye.com/blog/1985226 网上其他的解释是，MR的in/out的key、value类型不匹配，或者job的输入输出格式不匹配导致报如下错误： [code="java"]java.lang.NullPointerException at org.apache.hadoop.io.serializer.Serializa...

参与评论您还未登录，请先登录后发表或查看评论

序列化

cc_whale的博客

02-25

180

dubbo服务中的实体类需要序列化发送到网络或者要写入磁盘的实体类需要序列化 Caused by: java.lang.IllegalStateException: Serialized class com.ai.ecs.merchant.entity.MerchantImport must implement java.io.Serializable at com.alibaba....

Netty使用kryo序列化传输对象

优秀技术文章收录

01-24

547

Netty使用kryo序列化传输对象横渡 Netty使用kryo序列化传输对象 - 简书参考文章：https://blog.csdn.net/eguid_1/article/details/79316403https://blog.csdn.net/top_co...https://www.jianshu.com/p/e075647275e7 参考文章：https://blog.csdn.net/eguid_1/article/details/79316403https://blog.csdn.ne

dubbo开启参数校验时-序列化异常

雪落南城的博客

01-10

4336

开启dubbo参数校验时服务1调用服务2的方法，参数1为@NotNull 调用时未传但报的异常是序列化问题异常信息如下： org.apache.dubbo.rpc.RpcException: Failed to invoke the method getLoanInfoByInteractNum in the service net.wecash.capital.plat...

Netty(5)-自定义通信协议包的编码解码

BoringError的博客

02-05

2517

文章目录一.何为通信协议二.代码实现一.何为通信协议这里指的通信协议并不是狭义的TCP、UDP这类【标准通信协议】，而是指的Netty用于客户端与服务端之间数据交互的【自定义通信协议】。无论是使用 Netty 还是原始的 Socket 编程，基于 TCP 通信的数据包格式均为二进制，协议指的就是客户端与服务端事先商量好的，每一个二进制数据包中每一段字节分别代表什么含义的规则。如下图所示为一个简...

hive查询hudi表使用count报java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat

LZX的博客

02-09

3498

java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat

38、spark读取hudi报错：java.io.NotSerializableException: org.apache.hadoop.fs.Path

最新发布

weixin_42960808的博客

09-30

355

场景：spark.table()的方式读取hudi映射的hive表。开源组件版本：hive 3.1.0。

# Storage Information SerDe Library: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe InputFormat: org.apache.hadoop.mapred.TextInputFormat OutputFormat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

06-30

例如，ORC 文件使用的 `InputFormat` 是 `org.apache.hadoop.hive.ql.io.orc.ORCInputFormat`，Parquet 文件则使用 `org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat` [^1]。 ### SerDe 与 ...

java.io.FileNotFoundException: File does not exist: hdfs://localhost:9000/w_base_pay_result_hudi_hive at org.apache.hadoop.hdfs.DistributedFileSystem$29.doCall(DistributedFileSystem.java:1756) at org.apache.hadoop.hdfs.DistributedFileSystem$29.doCall(DistributedFileSystem.java:1749) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1764) at org.apache.hudi.common.util.TablePathUtils.getTablePath(TablePathUtils.java:58) at org.apache.hudi.DataSourceUtils.getTablePath(DataSourceUtils.java:73) at org.apache.hudi.DefaultSource.createRelation(DefaultSource.scala:109) at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:348) at org.apache.spark.sql.execution.datasources.FindDataSourceTable.$anonfun$readDataSourceTable$1(DataSourceStrategy.scala:252) at org.sparkproject.guava.cache.LocalCache$LocalManualCache$1.load(LocalCache.java:4792) at org.sparkproject.guava.cache.LocalCache$LoadingValueReference.loadFuture(LocalCache.java:3599) at org.sparkproject.guava.cache.LocalCache$Segment.loadSync(LocalCache.java:2379) at org.sparkproject.guava.cache.LocalCache$Segment.lockedGetOrLoad(LocalCache.java:2342) at org.sparkproject.guava.cache.LocalCache$Segment.get(LocalCache.java:2257) at org.sparkproject.guava.cache.LocalCache.get(LocalCache.java:4000) at org.sparkproject.guava.cache.LocalCache$LocalManualCache.get(LocalCache.java:4789) at org.apache.spark.sql.catalyst.catalog.SessionCatalog.getCachedPlan(SessionCatalog.scala:174) at org.apache.spark.sql.execution.datasources.FindDataSourceTable.org$apache$spark$sql$execution$datasources$FindDataSourceTable$$readDataSourceTable(DataSourceStrategy.scala:240) at org.apache.spark.sql.execution.datasources.FindDataSourceTable$$anonfun$apply$2.applyOrElse(DataSourceStrategy.scala:279) at org.apache.spark.sql.execution.datasources.FindDa

05-28

.config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .getOrCreate() val hudiTablePath = "hdfs://mycluster/home/hudi/example_table" val df = spark.read.format("hudi").load...

用dubbo时遇到的一个序列化的坑

weixin_30678349的博客

11-24

663

　　首先，这是标题党，问题并不是出现在序列化上，这是报错的一部分： Caused by: com.alibaba.dubbo.remoting.RemotingException: Failed to send response: Response [id=24, version=2.0.0, status=20, event=false, error=null, result=R...

dubbo 报错 com.alibaba.com.caucho.hessian.io.Hessian2Output.writeObject(Hessian2Output.java:408)

海印

07-29

4632

cause: java.lang.StackOverflowError java.lang.StackOverflowError at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497)

Hessian和Java反序列化问题小结

笨小孩的专栏

10-05

1465

Hessian反序列化问题众所周知，Hessian框架提供的序列化方式，在性能上要优于Java自己的序列化方式。他将对象序列化，生成的字节数组的数量要相对于Java自带的序列化方式要更简洁。目前公司的一个项目中，有RPC调用的需要，这里我们使用了公司自己的开源RPC框架Dubbo作为远程调用框架，进行业务方法的调用和对象的序列化。这里，我们没有对Dubbo做出特殊配置，Dubbo在Remo...

com.alibaba.com.caucho.hessian.io.SerializerFactory getDeserializer

weixin_34150503的博客

01-27

2025

2016-1-27 14:40:25 com.alibaba.com.caucho.hessian.io.SerializerFactory getDeserializer 警告: Hessian/Burlap: 'com.lvmama.vst.distributor.vo.TntChannelVO' is an unknown class in WebappClassLoader c...

[hadoop2.7.1]I/O之序列化（serializer）

海兰

12-03

312

先来看下org.apache.hadoop.io.serializer的类图（hadoop2.7.1）：由类图看：接口三个： 1、Deserializer：定义反序列化接口； 2、Serializer：定义序列化接口； 3、Serialization：定义了一系列和序列化相关并相互依赖对象的接口。依据这三个接口，分别实现了2个类，分别是支持Writable机制的Writabl...

com.alibaba.com.caucho.hessian.io.SerializerFactory.getDeserializer Hessian/Burlap: 'com.github.page

innerpeacez成长之路

03-17

8107

今天使用pagehelper的时候一直出现如下警告，但是系统依旧可以正常使用。警告 [New I/O worker #1] com.alibaba.com.caucho.hessian.io.SerializerFactory.getDeserializer Hessian/Burlap: 'com.github.pagehelper.Page' is an unknown class in ...

dubbo服务consumer 方打印警告日志，getDeserializer - Hessian/Burla 'xxx' is an unknown class...

diaoyuan7785的博客

02-15

503

1、日志目录 2、查找日志 3、这个日志是在dubbo的package com.alibaba.com.caucho.hessian.io.SerializerFactory类，Deserializer getDeserializer(String type)方法中打印的：看名称大概是获取反序列化类。在服务A中接口方法是能正常调用的，不影响业务。但是该方法调用很频繁...

dubbo报错：Serialized class com.stylefeng.guns.rest.vo.UserRoleVo must implement java.io.Serializable

qq_34759280的博客

11-27

477

dubbo数据传输和转换过程中都需要对接口数据进行序列化和反序列化操作，将对象转成字节流，用于网络传输，以及将字节流转为对象，用于在收到字节流数据后还原成对象。 com.alibaba.dubbo.rpc.RpcException: Failed to invoke the method getRoleById in the service com.stylefeng.guns.rest.se...