spark环境搭建流程

最新推荐文章于 2025-04-21 11:27:07 发布
原创 最新推荐文章于 2025-04-21 11:27:07 发布 · 736 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了Spark环境的搭建步骤，包括免密码登陆配置、JDK、Scala、Hadoop、Maven、Python的安装和环境变量设置，以及Spark的解压和验证。每个步骤都提供了相关配置文件的修改说明和验证方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark环境搭建流程

0.准备工作

免密码登陆

参考文档：
https://blog.youkuaiyun.com/furzoom/article/details/79139570
修改/etc/hosts的服务器ip映射
https://blog.youkuaiyun.com/fuck487/article/details/79361197
查看/etc/ssh/sshd_config文件
https://www.cnblogs.com/hobinly/p/6039844.html

准备安装文件

1.安装JDK

解压tar -zxvf jdk-8u91-linux-x64.tar.gz -C ~/app/
配置系统环境变量
验证：java -version
java version “1.8.0_91”

2.安装scala

解压tar -zxvf scala-2.11.8.tgz -C ~/app/
配置系统环境变量
验证：scala
Welcome to Scala 2.11.8 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_91).
**

3.安装hadoop

解压
配置系统环境变量
app下创建tmp文

最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据之Spark环境搭建
weixin_43339889的博客
03-19 1320
本文主要介绍Spark相关环境搭建
hadoop + spark搭建模拟环境
zhaohang_2015的博客
06-08 640
1. spark简介与环境搭建 1.1 spark简介 1.1.1 什么是spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大
Spark环境搭建教程
xgb2018的博客
03-27 4431
Spark环境搭建 Spark Local本地模式 Standalone-独立集群 Standalone-HA Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
Spark环境搭建流程
最新发布
qq_57174393的博客
04-21 1813
spark安装测试
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
Spark搭建流程
qq_41627642的博客
02-16 312
下载和安装以及彻底卸载VMware虚拟机 参考博客：https://www.cnblogs.com/nongzihong/p/10475753.html https://blog.youkuaiyun.com/lizhen8285/article/month/2018/04 安装详细centos和ubuntunkylin 参考博客：https://blog.youkuaiyun.com/badao521_/article...
spark环境搭建
陈十一
12-14 841
一、平台环境 虚拟机：VMware® Workstation 14 Pro 32位 操作系统：CentOS764位 二、 软件包 jdk-8u11-linux-x64.tar.gz hadoop-3.2.1-src.tar.gz https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1-src.tar.gz apache-hive-3.1.2-src.tar.gz https://mirro...
简述spark环境搭建流程
12-09
搭建Spark环境的流程可以分为以下几个步骤： 1. **安装Java**：Spark依赖于Java环境，因此首先需要安装JDK。可以从Oracle官网下载并安装最新版本的JDK，并配置好环境变量`JAVA_HOME`。 2. **安装Scala（可选）**：...
Spark环境搭建
2201_75779723的博客
09-13 2324
本文是使用VMware Workstation搭建Spark环境，操作系统为CentOS 7的详细步骤
Spark平台搭建最详细最完美详解
11-05
这是一个大数据主流平台SPARK搭建的完美教程，特别适合零基础者。
Spark 之环境搭建与任务执行流程
Jhon_yh的博客
12-18 526
文章目录Spark 环境搭建常用端口号TIPSStandalone环境搭建Spark On Yarn Spark 环境搭建 常用端口号 HDFS: http://node1:50070/ HBase: http://node1:60010/master-status Yarn: http://node3:8088/cluster Spark: Master :8088 Worker :8081...
Spark入门学习交流—Spark环境搭建
读读书，敲敲代码，写写博客，思考思考人生。
03-19 611
1.所需要的软件资源：            1）vmaware11            2）centos（3台虚拟环境，其中两台做slave，一台做master）            3）hadoop2.6            4）spark1.6.1
Spark搭建过程--记录
Enche的博客
01-12 341
1.大部分参考http://www.cnblogs.com/shishanyuan/p/4699644.html这个博主写的，在此十分感谢这个博主。 2.搭建完可能遇到找不到hadoop配置的情况。出现Error: Cannot find configuration directory: /etc/hadoop 解决方法： 在hadoop-env.sh 配置一条hadoop配置文件所在目录
spark环境搭建及简单程序使用
svmachine的博客
05-31 1731
该文章是在hadoop环境搭建好的基础上进行的，主要是针对搭建过程中自己遇到的一些小问题。关于hadoop的搭建详见：http://blog.youkuaiyun.com/svmachine/article/details/51334188一 环境 hadoop：hadoop2.6.0 spark：spark1.6.1 scala：scala2.11.8 jar：spark-assembly-1.6.1
Spark各种模式的环境搭建及相关工作流程介绍
小简铺子
05-27 3290
1前言 本篇博客主要记录的是Spark的3种运行模式及对应的模式环境搭建过程和流程介绍。3种模式都是经过实践记录详细的操作过程和注意事项。 在进行环境的配置过程中，建议先理解每个模式下的工作流程，然后再进行环境搭建，这样容易加深理解。由于Spark on YARN是搭建在HDFS分布式环境下的，所以此处可以参考一下Hadoop环境搭建及相关组件的工作流程介绍进行环境搭建，对应的软件下载地址密码...
SPARK系统搭建
gedasong_aac的博客
03-17 479
一、Ubantu Linux系统安装 1.详细安装教程地址：https://blog.youkuaiyun.com/u013142781/article/details/50529030； 2.注意点： （1）虚拟机路径修改： （2）虚拟机网络配置： https://www.cnblogs.com/biaohc/p/6416213.html (3)从本地电脑传输文件至虚拟机： a.下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值