How-to: resolve "java.io.NotSerializableException" issue during spark reading hbase table

最新推荐文章于 2022-06-21 17:19:45 发布
原创 最新推荐文章于 2022-06-21 17:19:45 发布 · 2.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hbase #serializer

本文介绍了一个在使用Spark Scala代码读取HBase表时遇到的非序列化异常问题，并给出了通过配置Kryo序列化器来解决此问题的方法。
During reading htable via spark scala code, the following error happened:

15/10/28 16:39:00 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 10.0 (TID 2536, slave14.dc.tj): java.lang.RuntimeException: java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable
Serialization stack:
        - object not serializable (class: org.apache.hadoop.hbase.io.ImmutableBytesWritable, value: 30 30 5f 39 39 39 38 38 33)
        - field (class: scala.Tuple2, name: _1, type: class java.lang.Object)
        - object (class scala.Tuple2, (30 30 5f 39 39 39 38 38 33,keyval......
        at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)
        at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:47)
        at org.apache.spark.serializer.SerializationStream.writeAll(Serializer.scala:153)
        at org.apache.spark.storage.BlockManager.dataSerializeStream(BlockManager.scala:1190)
        ......

The solution is turn spark to use KryoSerializer:
sparkconf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

Spark NotSerializableException
Love-Coding
11-27 619
已经extends Serializable 但是因为类里有个对象没有extends Serializable 所以报这个错 把这个对象放到一个比如init()方法里 以及其他地方修改下 即可
Spark学习：spark读取HBase数据报异常java.io.NotSerializableException
九师兄
08-15 4747
java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable
Spark中使用take截取数据时报错：java.io.NotSerializableException
蚂蚁
08-05 1141
发生场景 在使用Spark读取HBase中的数据时 不使用take函数截取数据时 读取到的HBase中的数据可以正常输出 但是使用take操作截取数据时 就会抛出异常 java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable 发生原因 Spark分为两大角色Driver与Executor...
hbase scala 实例_如何使用Spark/Scala读取Hbase的数据
weixin_39524247的博客
12-19 278
必须使用高亮参数启动Spark-shell,否则当你遍历RDD时会出现如下的Exceptionjava.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritablespark-shell--conf spark.serializer=org.apache.spark.serializer.KryoSer...
Spark not serializable 异常分析及解决方案
少女秘封俱乐部
11-22 2085
一、背景 在使用spark开发分布式数据计算作业过程中或多或少会遇到如下的错误： Serialization stack: object not serializable (class:class: org.apache.hadoop.hbase.io.ImmutableBytesWritable, value: 30 30 30 30 30 30 32 34 32 30 32 37 37 ...
Spark Caused by: java.io.NotSerializableException 序列化异常踩过的坑
Java_Man_China的博客
10-22 1510
https://blog.csdn.net/qq_28743951/article/details/86599918
解决问题记录：Could not resolve io.realm:realm-gradle-plugin:7.0.0-beta-SNAPSHOT
再简单的事，也要用心做成！
09-15 2287
今天打开项目，突然爆这个错误： A problem occurred configuring root project 'xxx'. > Could not resolve all artifacts for configuration ':classpath'. > Could not resolve io.realm:realm-gradle-plugin:7.0.0-beta-SNAPSHOT. Required by: project : &
Android 解决： Failed to resolve: com.android.support:appcompat-v7:28.+ 错误
热门推荐
谢岩的博客
01-22 5万+
今天，简单讲讲Android studio编译报错：Failed to resolve: com.android.support:appcompat-v7:28.+的问题。   这个问题其实之前遇到过，今天又遇到了。所以记录一下。 总的来说，就是Android studio的SDK工具版本低于工程需要的SDK工具版本，SDK Build-Tools与工程所需的不一致。具体讲解如下： 具...
spark - Caused by: java.net.UnknownHostException: XXX
Bsj' blog
08-03 1894
spark Caused by: java.net.UnknownHostException: XXX Exception in thread "main" java.lang.reflect.UndeclaredThrowableException at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1761) at org.apache.spark.deploy.S
【maven】: e-iceblue:spire.doc.free:pom:2.7.3 failed to transfer from http://0.0.0.0/ during a previou
Jack_Kuo的博客
06-21 6899
在使用spire的doc包的时候遇到报错： 解决 使用国内的地址： 将下面的 换为：
Android Studio报错：ERROR: Failed to resolve: com.android.support:appcompat-v7:28.0.+
GeofferySun的专栏
08-18 4363
Android Studio报错：ERROR: Failed to resolve: com.android.support:appcompat-v7:28.0.+ 今天新导入一个Project项目，上来就报错找不到类库，Google狠起来自己的儿子都编译不过了么？吐血，如下： ERROR: Failed to resolve: com.android.support:appcompat-v7:2...
had a not serializable result: org.apache.hadoop.hbase.io.ImmutableBytesWritable
醉糊涂仙的博客
07-04 1513
代码第一行补充: System.setProperty(“spark.serializer”, “org.apache.spark.serializer.KryoSerializer”)
spark<java.io.NotSerializableException>
Gpwner的博客
09-13 2879
我新定义了一个类（tools.UCleaner），放到Spark中做数据清洗的时候，跑了一个任务未序列化的异常Exception in thread "main" org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(
java.io.Notserializableexception错误解决方法
赞哈哈的博客
06-07 9346
问题原因：没有序列化 java.io.Notserializableexception:类名 java.io.Notserializableexception:com.zan.pojo.User 解决方法： 实现Serializable接口 package com.zan.pojo; public class User implements Serializable{ private String name; private String phone; } ...
【HBase】关于包org.apache.hadoop.hbase.client
836811384
10-29 2390
Packageorg.apache.hadoop.hbase.client 提供HBase客户端接口 参考:Description Interface概要 Interface Description Attributes HConnection 创建于集群间的连接. H...
Cannot resolve com.google.code.gson:gson:2.9.1 Cannot resolve org.apache.tika:tika-core:2.9.0 Cannot resolve org.springframework:spring-context-support:unknown Cannot resolve pro.fessional:kaptcha:2.3.3 Cannot resolve commons-io:commons-io:2.13.0 Cannot resolve com.baomidou:mybatis-plus-boot-starter:3.5.5 Cannot resolve io.minio:minio:8.2.2 Cannot resolve io.awspring.cloud:spring-cloud-aws-starter-sqs:3.0.0 Cannot resolve org.springframework.cloud:spring-cloud-starter-loadbalancer:unknown Cannot resolve com.fasterxml.jackson.core:jackson-databind:unknown Cannot resolve org.springframework.security:spring-security-core:5.7.12 Cannot resolve org.quartz-scheduler:quartz:unknown Cannot resolve org.xerial:sqlite-jdbc:3.42.0.0 Cannot resolve com.alibaba:transmittable-thread-local:2.14.4 Cannot resolve org.springframework.cloud:spring-cloud-loadbalancer:unknown Cannot resolve javax.servlet:javax.servlet-api:unknown Cannot resolve org.springframework.cloud:spring-cloud-starter-gateway:unknown Cannot resolve org.tukaani:xz:1.8 Cannot resolve cn.hutool:hutool-all:5.8.28 Cannot resolve software.amazon.awssdk:netty-nio-client:2.29.45 Cannot resolve org.springframework.boot:spring-boot-starter-actuator:unknown Cannot resolve com.mysql:mysql-connector-j:unknown Cannot resolve de.codecentric:spring-boot-admin-starter-server:2.7.16 Cannot resolve com.alibaba.cloud:spring-cloud-starter-alibaba-nacos-discovery:unknown Cannot resolve software.amazon.awssdk:s3-transfer-manager:2.29.45 Cannot resolve org.springframework.cloud:spring-cloud-starter-bootstrap:unknown Cannot resolve org.apache.velocity:velocity-engine-core:2.3 Cannot resolve com.alibaba.cloud:spring-cloud-alibaba-sentinel-gateway:unknown Cannot resolve org.springframework:spring-test:6.0.13 Cannot resolve org.springframework.cloud:spring-cloud-starter-bootstrap:unknown Cannot resolve com.alibaba.fastjson2:fastjson2:2.0.53 Cannot resolve software.amazon.awssdk:aws-sdk-java:2.29.45 Cannot resolve com.baomidou:dynamic-datasource-spring-boot-starter:4.3.1 Cannot resolve software.amazon.awssdk:sqs:2.29.45 Cannot resolve org.springframework.boot:spring-boot-starter-security:unknown Cannot resolve org.apache.poi:poi-ooxml:4.1.2 Cannot resolve org.lionsoul:ip2region:2.6.5 Cannot resolve org.apache.commons:commons-lang3:unknown Cannot resolve com.alibaba:druid-spring-boot-starter:1.2.23 Cannot resolve org.springframework.boot:spring-boot-starter-web:unknown Cannot resolve com.alibaba.cloud:spring-cloud-starter-alibaba-sentinel:unknown Cannot resolve org.springframework.cloud:spring-cloud-starter-openfeign:unknown Cannot resolve javax.xml.bind:jaxb-api:unknown Cannot resolve org.springframework:spring-framework-bom:5.3.39 Cannot resolve org.springframework.boot:spring-boot-starter-data-redis:unknown Cannot resolve eu.bitwalker:UserAgentUtils:1.21 Cannot resolve org.springframework.boot:spring-boot-starter-actuator:unknown Cannot resolve com.github.tobato:fastdfs-client:1.27.2 Cannot resolve com.alibaba.cloud:spring-cloud-starter-alibaba-nacos-config:unknown Cannot resolve org.springframework:spring-web:unknown Cannot resolve com.github.pagehelper:pagehelper-spring-boot-starter:2.0.0 Cannot resolve io.jsonwebtoken:jjwt:0.9.1 Cannot resolve org.springframework:spring-webmvc:unknown Cannot resolve org.apache.commons:commons-compress:1.21 Cannot resolve com.alibaba.csp:sentinel-datasource-nacos:unknown Cannot resolve com.alibaba.cloud:spring-cloud-starter-alibaba-seata:
最新发布
06-04
### 无法解析的依赖项解决方案 在Maven项目中，当某些依赖项无法解析时，通常是因为以下原因之一：依赖项版本不存在、依赖项未发布到中央仓库、本地Maven配置问题或网络连接问题。以下是针对每个依赖项的具体解决方案。 #### 1. **检查依赖项版本是否存在** 确保所使用的依赖项版本确实存在。可以通过访问[Maven Central Repository](https://search.maven.org/)来验证依赖项及其版本是否可用。例如： - `gson` 2.9.1[^1] - `tika-core` 2.9.0[^1] - `spring-context-support`[^1] - `kaptcha` 2.3.3[^1] - `commons-io` 2.13.0 - `mybatis-plus-boot-starter` 3.5.5[^1] - `minio` 8.2.2 - `spring-cloud-aws-starter-sqs` 3.0.0 如果某个版本不存在，则需要选择正确的版本号。 #### 2. **添加正确的仓库地址** 某些依赖项可能不在Maven中央仓库中，而是托管在其他仓库（如阿里巴巴云仓库、Spring官方仓库等）。需要在`pom.xml`中添加相应的仓库地址。例如： ```xml <repositories> <repository> <id>alibaba</id> <url>https://maven.aliyun.com/repository/public</url> </repository> <repository> <id>spring-milestones</id> <url>https://repo.spring.io/milestone</url> </repository> </repositories> ``` #### 3. **解决特定依赖项问题** 以下是一些常见依赖项的问题及解决方案： - **`spring-security-core` 5.7.12** 确保与`spring-boot-starter-parent`版本兼容。如果版本冲突，可以使用`dependencyManagement`显式声明版本[^3]。 - **`spring-cloud-starter-alibaba-nacos-discovery`** 需要添加阿里云的Maven仓库，并确保版本与`spring-cloud-alibaba`的BOM兼容[^4]。 - **`spring-cloud-starter-alibaba-sentinel`** 同样需要添加阿里云仓库，并确保版本与`spring-cloud-alibaba`的BOM兼容[^4]。 - **`spring-cloud-starter-openfeign`** 确保与`spring-cloud-dependencies`版本兼容。如果版本冲突，可以使用`dependencyManagement`显式声明版本[^3]。 - **`dynamic-datasource-spring-boot-starter` 4.3.1** 需要添加阿里云仓库，并确保版本与`spring-boot-starter-parent`兼容。 - **`aws-sdk-java` 2.29.45** 如果无法解析，可能是由于网络问题或仓库配置不正确。建议添加AWS官方仓库[^4]。 #### 4. **检查本地Maven配置** 确保本地`settings.xml`文件中没有错误配置。例如，代理设置可能导致某些依赖项无法下载。可以通过以下命令检查Maven配置： ```bash mvn help:effective-settings ``` #### 5. **清理并重新构建项目** 有时缓存问题会导致依赖项无法解析。可以尝试以下命令清理并重新构建项目： ```bash mvn clean install -U ``` #### 6. **代码示例：完整的`pom.xml`片段** 以下是一个完整的`pom.xml`片段，展示了如何正确配置依赖项和仓库： ```xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.6.3</version> </parent> <dependencies> <dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.9.1</version> </dependency> <dependency> <groupId>org.apache.tika</groupId> <artifactId>tika-core</artifactId> <version>2.9.0</version> </dependency> <!-- 其他依赖项 --> </dependencies> <repositories> <repository> <id>alibaba</id> <url>https://maven.aliyun.com/repository/public</url> </repository> <repository> <id>spring-milestones</id> <url>https://repo.spring.io/milestone</url> </repository> </repositories> </project> ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值