org.apache.spark.sql.AnalysisException: Try to map struct<>to Tuple1 异常

玉羽凌风

于 2017-10-01 21:34:23 发布

阅读量3.3k

点赞数

分类专栏： SPARK 文章标签： spark

本文链接：https://blog.youkuaiyun.com/zhouyan8603/article/details/78148978

版权

SPARK 专栏收录该内容

51 篇文章

订阅专栏

本文介绍了一个使用Spark读取Parquet文件时遇到的异常情况及其原因。当尝试将Parquet文件中的数据映射到自定义类型时，可能会出现字段数量不匹配的错误。文章提供了具体的错误信息及解决该问题所需的重要步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark.read.parquet(mypath).as[MyEntity]会遇到下面异常



org.apache.spark.sql.AnalysisException: Try to map struct<uid:string> to Tuple1, but failed as the number of fields does not line up.;
	at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveDeserializer$.org$apache$spark$sql$catalyst$analysis$Analyzer$ResolveDeserializer$$fail(Analyzer.scala:2044)
	at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveDeserializer$.org$apache$spark$sql$catalyst$analysis$Analyzer$ResolveDeserializer$$validateTopLevelTupleFields(Analyzer.scala:2061)
	at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveDeserializer$$anonfun$apply$32$$anonfun$applyOrElse$12.applyOrElse(Analyzer.scala:2035)
	at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveDeserializer$$anonfun$apply$32$$anonfun$applyOrElse$12.applyOrElse(Analyzer.scala:2027)



在read之前需要：
import spark.implicits._