spark 加载第三方数据源

最新推荐文章于 2024-02-23 14:03:23 发布

原创最新推荐文章于 2024-02-23 14:03:23 发布 · 469 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark读取外部数据源

spark 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了如何使用Spark读取外部JSON和CSV文件，包括正确的格式指定和选项设置，以及常见错误处理。同时提供了从HDFS加载数据的具体示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark读取外部数据源

1.spark读取外部json文件

[hadoop@hadoop0001 bin]$ cd/$spark_home/bin

[hadoop@hadoop0001 bin]$ ./spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.27.jar
scala> spark.read.load("file:///home/hadoop/app/spark-2.3.1-bin-2.6.0-cdh5.7.0/examples/src/main/resources/people.json").show

报错Error：

Caused by: java.lang.RuntimeException: file:/home/hadoop/app/spark-2.3.1-bin-2.6.0-cdh5.7.0/examples/src/main/resources/people.json is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 57, 125, 10]
at org.apache.parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:476)
at org.apache.parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:445)
at org.apache.parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:421)
at org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$$anonfun$readParquetFootersInParallel$1.apply(ParquetFileFormat.scala:519)
... 32 more

//正确写法，需要指定.format 和.option

val df1 = spark.read.format("json").option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").load("hdfs://192.168.137.141:9000/data/people.json")
df1.show()
+----+-------+
| age| name|
+----+-------+
|null|Michael|
| 30| Andy|
| 19| Justin|
+----+-------+

2.spark读取外部csv文件

#正确写法，需要加上.format.option

val df2 = spark.read.format("csv")
      .option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
      .option("sep",";")
      .option("header","true")     //use first line of all files as header
      .option("inferSchema","true")
      .load("hdfs://192.168.137.141:9000/data/people.csv")
df2.show()
df2.printSchema()
//输出结果：
+-----+---+---------+
| name|age|      job|
+-----+---+---------+
|Jorge| 30|Developer|
|  Bob| 32|Developer|
+-----+---+---------+

3.spark网址有很多的第三方包：https://spark-packages.org

调用方法：$spark_home/bin/spark-shell --packages com.xxx.xxx(packagesPath)