dstream.foreachRDD 创建连接对象反序列化失败解决办法

最新推荐文章于 2022-02-25 16:46:27 发布

ququ554665630

最新推荐文章于 2022-02-25 16:46:27 发布

阅读量519

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/ququ554665630/article/details/80559399

大数据专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一个使用Spark Streaming从Kafka接收数据并存入HBase的应用案例。在实现过程中遇到了HTable序列化的问题，原因是连接创建于driver端而worker端无法正确反序列化。文章分享了解决该问题的方法，并提供了参考链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开发一个采集程序，从客户端发送数据到服务端，服务端传给kafka

集群上启动sparkStreaming 接受kafka数据存入HBase

遇到一个小坑

程序报无法序列化 Htable

就是因为dstream.foreachRDD() 是在driver端启动的创建 hbase连接的时候是在driver端创建的，需要把连接发送到每个worker上时反序列化失败

解决办法参考下面：

https://blog.youkuaiyun.com/jiangpeng59/article/details/53318761

https://blog.youkuaiyun.com/Dax1n/article/details/59172244

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ququ554665630

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

万字详解：云原生AI/大数据生态中Spark分布式数据处理框架的深度解析

AI天才研究院

04-13

575

1.1 内存计算引擎与性能突破 Apache Spark作为一款专为大规模数据处理设计的分布式计算框架，其最显著的优势在于内存计算能力。与传统Hadoop MapReduce将中间结果写入磁盘不同，Spark允许数据在内存中直接迭代计算，使得批处理速度提升最高达100倍（内存模式）或10倍（磁盘模式）。例如，某金融机构使用Spark处理1TB交易数据时，MapReduce需数小时完成的任务，Spark在内存中仅需数分钟完成。1.2 多范式统一处理架构 Spark通过分层API设计实现了多数据处理的范式统一：

对DStream.foreachRDD的理解

qq_34896163的博客

01-05

738

官方文档解释：将函数func应用于从流生成的每个RDD的最通用的输出运算符。此函数应该将每个RDD中的数据推送到外部系统，例如将RDD保存到文件中，或者通过网络将其写入数据库。请注意，函数func是在运行流应用程序的驱动程序进程中执行的，并且通常在函数func中包含RDD操作，这将强制计算流RDD。对于这个定义会产生一个疑问：在一个batch interval里面会产生几个RDD？结论：有且...

参与评论您还未登录，请先登录后发表或查看评论

Spark中DStream.foreachRDD()方法的使用

pageniao的博客

02-01

855

一、简单介绍 DStream.foreachRDD()方法实际上是Spark流处理的一个处理及输出RDD的方法。这个方法使我们能够访问底层的DStream对应的RDD进而根据我们需要的逻辑对其进行处理。例如，我们可以通过foreachRDD()方法来访问每一条mini-batch中的数据，然后将它们存入数据库。需要注意的是： DStream.foreachRDD()传给我们的参数是一个RDD[userbatch]，而不是单个的user，因此我们需要进一步循环来根据需要处理其中每一个user。我们不能用

lambda foreach 创建对象

sunyksh的博客

01-11

3457

jdk8 foreach创建对象优化 lambda foreach 创建对象 @Async public void asyncFullEsDoc() { List&lt;Integer&gt; docIdList = Arrays.asList(913,914); if (CollectionUtil.isNotNullOrEmpty(docIdList))...

14.DStream的output操作以及foreachRDD详解

认知行动坚持

08-05

574

output操作概览 Output Meaning print 打印每个batch中的前10个元素，主要用于测试，或者是不需要执行什么output操作时，用于简单触发一下job。 saveAsTextFile(prefix, [suffix]) 将每个batch的数据保存到文件中。每个batch的文件的命名格式

反序列化的详解

weixin_45932157的博客

07-20

275

怎样序列化这个字符串呢？ string jsonText2 = "{\"Specificlocation\":[{\"name\":\"zj11\",\"age\":\"22\"},{\"name\":\"z71\",\"age\":\"32\"},{\"name\":\"z1\",\"age\":\"42\"},{\"name\":\"zj81\",\"age\":\"12\"},{\"name\":\"zjy1\",\"age\":\"72\"},{\"name\":\"zj31\",\"age\":

package cn.itcast.edu.analysis import cn.itcast.edu.bean.Answer import cn.itcast.edu.utils.RedisUtil import com.google.gson.Gson import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.ml.recommendation.ALSModel import org.apache.spark.sql.functions.udf import org.apache.spark.{SparkContext, streaming} import org.apache.spark.sql.{SaveMode, SparkSession} import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies} import java.util.Properties object StreamingRecommend { def main(args: Array[String]): Unit = { val spark:SparkSession = SparkSession.builder() .appName("streamingrecommend") .master("local[*]") .config("spark.sql.shuffle.partitions", "3") .getOrCreate() val sc:SparkContext = spark.sparkContext val ssc:StreamingContext = new StreamingContext( sc, streaming.Seconds(5) ) import spark.implicits._ val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "hadoop01:9092,hadoop02:9092", "key.deserializer" -> classOf[StringDeserializer], "value.deserializer" -> classOf[StringDeserializer], "group.id" -> "StreamingRecommend", ) val topic = Array("edu") val kafkaDStream = KafkaUtils.createDirectStream[String, String]( ssc, LocationStrategies.PreferConsistent, ConsumerStrategies.Subscribe[String, String](topic, kafkaParams) ) //获取Redis连接配置，并读取存储在Redis中推荐模型的存储路径 kafkaDStream.map(_.value()).foreachRDD(rdd => { if (!rdd.isEmpty()) { val jedis = RedisUtil.pool.getResource val path = jedis.hget( "model", "recommended_question_id" ) //加载推荐模型 val model = ALSModel.load(path) //解析JSON格式的数据，将解析的数据与样例类Answer中的字段进行映射 val answerDF = rdd.coalesce(1) .map(josnStr => { val gson = new Gson() gson.fromJson(josnStr, classOf[Answer]) }).toDF() val id = udf((student_id: String) => { student_id.split("_")(1).toInt }) val studentIdDF = answerDF.select( id ($"student_id") as "student_id" ) val recommendDF = model.recommendForUserSubset( studentIdDF, 10 ) val recommendResultDF = recommendDF .as[(Int, Array[(Int, Float)])] .map(t => { val studentIdStr = "学生ID_" + t._1 val questionIdsStr = t._2.map("题目ID_" + _._1) .mkString(",") (studentIdStr, questionIdsStr) }).toDF("student_id", "recommendations") val allInfoDF = answerDF.join( recommendResultDF, "student_id" ) allInfoDF.show(false) if (allInfoDF.count() > 0) { val properties = new Properties() properties.setProperty("user", "root") properties.setProperty("password", "123456") allInfoDF .write .mode(SaveMode.Append) .jdbc( "jdbc:mysql://hadoop01:3306/edu?" + "createDatabaseIfNotExist=true&" + "useUnicode=true&characterEncoding=utf8", "t_recommended", properties ) } jedis.close() } } ) //启动StreamingContext ssc.start() //使StreamingContext持续运行，除非人为干预停止 ssc.awaitTermination() ssc.stop(stopSparkContext = true, stopGracefully = true) } }

热门推荐

Javis486的专栏

11-24

1万+

foreachRDD通常用来把SparkStream运行得到的结果保存到外部系统比如HDFS、Mysql、Redis等等。了解下面的知识可以帮助我们避免很多误区误区1：实例化外部连接对象的位置不正确，比如下面代码 dstream.foreachRDD { rdd => val connection = createNewConnection() // executed at t

SparkStream：foreachRDD详解

统木木的博客

01-18

1088

foreachRDD常见问题

PotentialEnergy的博客

11-28

1948

问题代码如下； dstream.foreachRDD { rdd => val connection = createNewConnection() // executed at the driver rdd.foreach { record => connection.send(record) // executed at the worker }

kafka spark java,Java Spark Kafka流中的对象不可序列化(org.apache.kafka.clients.consumer.ConsumerRecord)...

weixin_30291543的博客

02-21

628

I am pretty sure that I am pushing data only string and deserialize also as String. Record I pushed it is showing in error also.But why suddenly it is showing such type of error, Is there anything I a...

序列化异常

VivianWU2016的博客

12-23

363

此异常多为网络传输未找到序列位置. 解决方法: 1.查看实体类是否实现 Serialized接口 2.查看代码中io流是否出错转载于:https://www.cnblogs.com/ORC-NoEnd/p/6215034.html...

关于DStream的输出（foreachRDD）操作

就问你吃不吃药

05-12

2145

输出操作允许将Dstream的数据推送到外部系统，例如数据库或文件系统。由于输出操作实际上允许外部系统使用变换后的数据，所以他们触发所有DStream变换的实际执行（类似于RDD的action操作）。目前定义了以下输出操作：使用foreachRDD的设计模式dstream.freachRDD是一个强大的语句，允许将数据发送到外部系统。但是，了解如何正确有效地使用这个语句很重要。下面提供以下常见的错

（5）spark RDD 序列化

qq_41123269的博客

02-25

654

RDD 序列化 从计算的角度, 算子以外的代码都是在Driver端执行, 算子里面的代码都是在Executor端执行。那么在scala的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果。如果使用的算子外的数据无法序列化，就意味着无法传值给Executor端执行，就会发生错误，所以需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。 object serializable { def main(args: Array[String]): U

第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大的程序

大模型与Agent智能体

06-03

7618

第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大的程序1 大吞吐量和数据波动比较大的程序2 Spark streaming中的解决方案-数据规模非常大，数据的处理会大于batch interval-数据波动非常大，峰值非常大，让人提心吊胆的地方办法：加硬件：内存、cpu cores 但要花公司的钱限流：log日志观察；如双11，

改进代码：import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} object UpdateStateByKeyTest { //newValues表示当前批次汇总成的（K,V）中相同K的所有V //runningCount表示历史的所有相同key的value总和 def updateFunction(newValues: Seq[Int], runningCount: Option[Int]): Option[Int] = { val newCount = runningCount.getOrElse(0) + newValues.sum Some(newCount) } def main(args: Array[String]): Unit = { //1.创建SparkConf对象 val sparkConf: SparkConf = new SparkConf().setAppName("UpdateStateByKeyTest").setMaster("local[2]") //2.创建SparkContext对象 val sc: SparkContext = new SparkContext(sparkConf) //3.设置日志级别 sc.setLogLevel("WARN") //4.创建StreamingContext，两个参数：1.SparkContext对象 2.批处理时间间隔 val ssc: StreamingContext = new StreamingContext(sc, Seconds(5)) //5.配置检查点目录，使用updateStateByKey()方法必须配置检查点目录 ssc.checkpoint("./") //6.连接socket服务，需要socket的地址，端口号，存储级别 val dstream: ReceiverInputDStream[String] = ssc.socketTextStream("192.168.92.131", 9999) //7.按空格切分每一行，并且将切分出来的单词出现的次数记录为1 val wordAndOne: DStream[(String, Int)] = dstream.flatMap(_.split(" ")).map(word => (word, 1)) //8.调用UpdateStateByKey操作，统计每个单词在全局中出现的次数 val result: DStream[(String,Int)] = wordAndOne.updateStateByKey(updateFunction) //9.打印输出结果 result.print() //10.开启流式计算 ssc.start() //11.用于保持程序一直运行，除非人为干预停止 ssc.awaitTermination() } }

05-28

import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} object UpdateStateByKeyTest { //newValues表示当前批次汇总成的（K,V）中相同K的所有V //runningCount表示历史的所有相同key的...

dstream.foreachRDD 创建连接对象 反序列化失败 解决办法

dstream.foreachRDD 创建连接对象反序列化失败解决办法