Spark使用VectorAssembler时：IllegalArgumentException: Data type StringType is not supported

最新推荐文章于 2024-01-25 13:44:51 发布

原创

最新推荐文章于 2024-01-25 13:44:51 发布 · 5.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#scala #spark #Vector处理 #mlib #源码分析

在使用Spark的VectorAssembler时遇到IllegalArgumentException错误，问题源于数据类型不被支持。作者发现数据类型意外转为String，通过打印Schema发现所有字段变为String。解决方案是设置Spark读取CSV时的选项，包括不添加默认列名和自动推断数据类型。最终通过`option("header", true)`和`option("inferSchema", true)`修复问题。" 126933793,15468797,SSM汽车租赁系统毕业设计,"['Java', '汽车租赁系统', 'SSM框架', '毕业设计', '数据库设计']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我的处理顺序：

因为我在另外一个scala文件中已经将csv分割为了训练集和测试集，并且为了后续计算各个filed之间的相关系数而把所有filed的类型都已经改为了Double型，所以我就没有考虑我的数据会有问题。

所以我怀疑是文件第一行的列名在搞鬼，然后我就去除了文件的第一行：然后：org.apache.hadoop.fs.ChecksumException: Checksum error

读取调用hadoop的API生成的文件，系统会检查文件是否“损坏”

复制粘贴后删除第一行再试，发觉还是报错

看源码，发觉VectorAssembler处理数据类型时最开始不会理睬第一行，仅仅在所有数据类型都case匹配不到时才会去做一些与第一行有关的操作。我不得不怀疑下filed的数据类型

printSchema发现：所有filed的类型又变成了string。。。我靠！这么不智能？还是说我操作失误？我认为Spark按道理还是能检测出数据类型的啊（194201.0, 378.0, 831.0, 2.0, 2.0, 3.0, 6.0些都理解为String？）

我不可能再去转换一次，那样太傻逼了，肯定有别的办法

加上mark标记的内容
val rawTrainDf = spark.read.format(“csv”).option(“header”,true).option(“inferSchema”, t