spark的几点备忘

最新推荐文章于 2025-12-14 20:47:02 发布

转载最新推荐文章于 2025-12-14 20:47:02 发布 · 181 阅读

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/errord/blog/181073

文章标签：

本文详细解析了在Spark分布式环境中，使用本地文件路径而非分布式文件系统路径时出现的错误原因及解决方案。通过实例展示了如何正确配置Spark应用，避免因文件路径问题导致的远程worker连接错误。

spark如果运行在分布式环境下。处理文件需要使用分布式文件系统。比如运行:



./run-example org.apache.spark.examples.SparkPageRank spark://192.168.0.103:7077 /home/xx/data/pagerank_data.txt 100 远程worker如果没有本地文件/home/xx/data/pagerank_data.txt就会报错。
连接master（比如:worker,spark_shell等）报错



13/12/03 14:27:58 ERROR NettyRemoteTransport(null): dropping message RegisterApplication(ApplicationDescription(PageRank)) for non-local recipient akka://sparkMaster@192.168.0.103:7077/user/Master at akka://sparkMaster@error.d:7077 local is akka://sparkMaster@error.d:7077 13/12/03 14:27:58 ERROR NettyRemoteTransport(null): dropping message DaemonMsgWatch(Actor[akka://spark@192.168.0.103:58493/user/$a],Actor[akka://sparkMaster@192.168.0.103:7077/user/Master]) for non-local recipient akka://sparkMaster@192.168.0.103:7077/remote at akka://sparkMaster@error.d:7077 local is akka://sparkMaster@error.d:7077 需要使用域名连接，比如



./run-example org.apache.spark.examples.SparkPageRank spark://error.d:7077 /home/xx/data/pagerank_data.txt 100

转载于:https://my.oschina.net/errord/blog/181073