map(Row(_))错误，需要用Row.fromSeq(_)

最新推荐文章于 2025-05-27 18:13:33 发布

卡奥斯道

最新推荐文章于 2025-05-27 18:13:33 发布

阅读量3.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： map(Row(_)) Row.fromSeq(_) is not a valid external type f

本文链接：https://blog.youkuaiyun.com/kaaosidao/article/details/84099589

spark 专栏收录该内容

32 篇文章

订阅专栏

本文详细解析了在使用Apache Spark创建DataFrame时遇到的常见错误，即字符串数组被误认为是外部类型的问题，并提供了正确的解决方案，即使用Row.fromSeq(_)替代Row(_)来映射RDD。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 val rddRow = rdd.map(Row(_))
 spark.createDataFrame(rddRow,schema)

Caused by: java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: [Ljava.lang.String; is not a valid external type for schema of string
if (assertnotnull(input[0, org.apache.spark.sql.Row, true], top level row object).isNullAt) null else staticinvoke(class org.apache.spark.unsafe.types.UTF8String, StringType, fromString, validateexternaltype(getexternalrowfield(assertnotnull(input[0, org.apache.spark.sql.Row, true], top level row object), 0, _c0), StringType), true) AS _c0#0
+- if (assertnotnull(input[0, org.apache.spark.sql.Row, true], top level row object).isNullAt) null else staticinvoke(class org.apache.spark.unsafe.types.UTF8String, StringType, fromString, validateexternaltype(getexternalrowfield(assertnotnull(input[0, org.apache.spark.sql.Row, true], top level row object), 0, _c0), StringType), true)
:- assertnotnull(input[0, org.apache.spark.sql.Row, true], top level row object).isNullAt
: :- assertnotnull(input[0, org.apache.spark.sql.Row, true], top level row object)
: : +- input[0, org.apache.spark.sql.Row, true]
: +- 0
:- null

需要用

Row.fromSeq(_)

val rddRow = rdd.map(Row.fromSeq(_))
spark.createDataFrame(rddRow,schema)