Spark的常见问题解析

Aime_Perfect

于 2018-08-27 22:00:11 发布

阅读量448

点赞数 2

分类专栏： Spark 文章标签： spark 错误总结

本文链接：https://blog.youkuaiyun.com/Aime123456789/article/details/82118515

版权

Spark 专栏收录该内容

3 篇文章

订阅专栏

博客围绕Spark执行时的报错展开。输入sc.textFile语句正常，但执行lines.count报错，提示文件不存在。原因一是sc.textFile为延迟加载，count运算时才加载数据；二是在Spark On Yarn模式下，只有master节点有文件，其他节点没有，RDD并发执行时拉取数据失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.输入这句话可以成功：①scala> val lines = sc.textFile("file:///home/hyxy/README.md")

但是输入：②scala> lines.count 为什么会报错抛异常呢？
Caused by: java.io.FileNotFoundException: File file:/home/hyxy/README.md does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:824)
答：1）这是第一个需要注意的地方：因为①属于延迟加载，就是写公式但不读数据；只有进行聚集、聚合等运算的时候才会加载数据，如②这种求总数这种情况就会加载数据

2）第二个需要注意的地方：就是要保证集群模式下都有数据，（前提条件是我是用spark On Yarn的方式提交的)然而我只有master有这个README.md文件而其他集群节点没有，所以才会报错，可见RDD的并发执行的，在集群上当worker和需要处理的数据不在一个节点上，他会拉取数据