spark databricks 读入csv数据报错：Multiple sources found for csv

原创于 2017-12-12 11:10:14 发布 · 3.6k 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何使用Spark正确地加载CSV文件，特别是针对Spark 2.0及更高版本中出现的多个源问题，并提供了解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

解决方法参考地址

spark.read
.format("org.apache.spark.sql.execution.datasources.csv.CSVFileFormat")
.format("csv")
.option("header", "true") // Use first line of all files as header
.option("inferSchema", "false") // Automatically infer data types
.option("delimiter", ",")
.load(csvPath)

报错内容：
这里写图片描述

Multiple sources found for csv (org.apache.spark.sql.execution.datasources.csv.CSVFileFormat, com.databricks.spark.csv.DefaultSource15), please specify the fully qualified class name

解决方法：Spark 2.0后需要加入csv的完全路径：

spark
.read
.format("org.apache.spark.sql.execution.datasources.csv.CSVFileFormat")
.option("header","true")
.schema(schema)
.load(csvPath)