默认从hdfs中读，从文件中读应当
val df = spark.read.json(“file:///opt/module/spark-local/people.json”)
从hdfs中读还可以
val df = spark.read.json(“hdfs:///opt/module/spark-local/people.json”)
无法将文件加载到spark: “org.apache.spark.sql.AnalysisException: Path does not exist“
最新推荐文章于 2024-11-18 19:08:07 发布
本文探讨了Spark DataFrame如何同时从HDFS和本地文件系统读取数据，重点在于比较两种方式的使用场景和效率。通过实例说明了`spark.read.json()`在不同源的选择技巧。
扫一扫
1616
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
