spark安装笔记（ubuntu16）

最新推荐文章于 2025-08-09 00:09:41 发布

原创最新推荐文章于 2025-08-09 00:09:41 发布 · 181 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #开发工具 #java

spark 专栏收录该内容

1 篇文章

订阅专栏

本文提供了一套详细的Hadoop和Spark安装配置流程，并介绍了如何使用ln命令创建软链接保留版本信息，实现ssh免密码登录的方法，以及通过官网教程进行实践操作的步骤。文中还涉及了如何将文件上传至HDFS并利用Spark进行处理的具体命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

强烈推荐：
安装Hadoop及Spark(Ubuntu 16.04)：[url]http://www.cnblogs.com/bovenson/p/5760856.html[/url]

管理页面：
hadoop：[url]localhost:50070[/url]
yarn：[url]localhost:8088[/url]
spark：[url]localhost:8080[/url]

这里仅作为补充：

[size=large][color=blue]1、通过ln命令创建软连接[/color][/size]
这样不会剔除所安装文件的版本信息，方便升级

ln -s hadoop-2.7.3/ hadoop

[size=large][color=blue]2、ssh免密码登陆[/color][/size]
[list]
[*][b]root用户[/b]下没问题。
[*]普通用户没成功，尝试了多个教程（修改文件夹权限什么的）
[/list]

[size=large][color=blue]3、教程
[/color][/size]官网的就很不错：
[url]http://spark.apache.org/docs/latest/quick-start.html[/url]

注意：由于我们集成了hadoop，文件必须先上传到hadoop的hdfs文件系统
hadoop文件命令参见：[url]http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html[/url]
着重注意 copyFromLocal命令

如果我们将README.md 上传到hadoop的根目录，则对应官网教程的创建RDD的命令为：

val lines=sc.textFile("/README.md")

[size=large][color=blue]4、打包为jar[/color][/size]
安照官网的sbt教程来的，可以成功，但过程缓慢
sbt安装：[url]http://www.scala-sbt.org/download.html[/url]

解压生成的jar包，里面也就是自己的几个.class文件而已（eclipse自动编译好的），就是普通的带main class的java 包，应该可以手动打包，，这部分没尝试

[b]注意[/b]：官网教程的 spark-submit 那步，需要先启动spark服务（运行安装教程中启动spark的脚本）；另外我没指定master参数，不清楚上面教程的安装模式是什么