关于Scala中collectAsMap和collect().toMap

最新推荐文章于 2024-11-22 15:32:02 发布

yuan_yiyi

最新推荐文章于 2024-11-22 15:32:02 发布

阅读量1.7k

点赞数

本文链接：https://blog.youkuaiyun.com/yuan_yiyi/article/details/104897257

版权

在使用Spark处理大规模数据集时，遇到了广播变量类型转换的问题。原代码尝试将scala.collection.mutable.HashMap转换为scala.collection.immutable.Map，导致了类型转换错误。通过调整代码，将收集的数据直接转换为Map解决了这一问题，确保了程序的正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在执行以下代码后，进行广播变量
val stop_dict = sc.textFile(stopwords).map((_,0)).collectAsMap()
然后取值进行类型转换时
val stopKeyWords = args(1).asInstanceOf[Broadcast[Map[String,Int]]].value
出现以下错误
scala.collection.mutable.HashMap cannot be cast to scala.collection.immutable.Map
将原代码改为：
val stop_dict = sc.textFile(stopwords).map((_,0)).collect().toMap
方可继续运行