Spark环境安装与部署

最新推荐文章于 2025-11-06 11:06:44 发布
原创 最新推荐文章于 2025-11-06 11:06:44 发布 · 934 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #centos #linux #spark

部署环境

你需要jdk环境，详细操作流程参见以下文章
https://blog.youkuaiyun.com/Timber_kito/article/details/117600360
两台CentOS系统，推荐配置内存2GB以上

一、从spark官方获取spark安装包

本案例使用spark-3.0.1为例

image.png

下载地址
https://www.apache.org/dyn/closer.lua/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

1.使用wget 命令获取spark安装包

mkdir /usr/spark
cd /usr/spark
wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

2.使用tar命令解压安装包


                

                
                
        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
spark&&zookeeper集群搭建

				
			

			

				

					kxd328的博客
				

				

					05-02
					
					344
					
				

			

		

		

			
				
1.安装JDK
二、安装spark
1.下载spark安装包
spark官网下载  http://spark.apache.org/downloads.html
2.上传解压spark
rz   //上传
tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /export/servers/    //解压到/export/servers/ 目录下...

			
		

	



                

            
              



	

		

			

				
					
Spark环境搭建教程

				
			

			

				

					xgb2018的博客
				

				

					03-27
					
					4471
					
				

			

		

		

			
				
Spark环境搭建 Spark Local本地模式 Standalone-独立集群  Standalone-HA  Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎

			
		

	



              


  
              

                


	

		

			

				
					
spark-3.0.0-bin-hadoop2.7.tgz

				
			

			

				

					07-17
				

			

		

		

			
				
spark-3.0.0-bin-hadoop2.7.tgz 官网下载不了的，需要资源的，可以到这里下载哦

			
		

	





	

		

			

				
					
Spark安装部署

					
最新发布

				
			

			

				

					onlymscn的博客
				

				

					11-06
					
					944
					
				

			

		

		

			
				
本文详细介绍了Spark的安装部署与集群管理，涵盖单机模式、Standalone集群、YARN和Kubernetes等多种部署方式。主要内容包括：环境准备与下载安装步骤；单机与集群模式的配置方法；常见问题排查与性能优化建议；高可用（HA）部署方案；以及与Hadoop生态的集成。文章特别强调了生产环境下的运维管理要点，如资源分配、安全配置和监控告警等，并提供了实用脚本示例。最后总结了不同规模场景下的推荐部署方案，为Spark集群的规划与实施提供了全面指导。

			
		

	



		

			
		



	

		

			

				
					
spark环境搭建

				
			

			

				

					启迪思维，精进技术
				

				

					10-13
					
					560
					
				

			

		

		

			
				
前言
1.安装环境依赖
运行所需  Java、 scala 环境。
1.1 安装scala
先创建需要下载scala的目录
mkdir scala
下载scala
wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

解压安装
tar -zxvf scala-2.11.8.tgz

 vi /etc/profile


添加对应的配置，根据你安装scala 的位置来配置。
#scala
export SCALA_HOME=/u

			
		

	





	

		

			

				
					
Mac安装spark环境国内镜像源过程包括遇到的一些问题

				
			

			

				

					m0_37754282的博客
				

				

					09-10
					
					470
					
				

			

		

		

			
				
1、打开终端安装 Homebrew
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

国内请用：
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
最后安装提示安装等待就行。安装完成之后可以使用下面名称测试：brew search red

			
		

	





	

		

			

				
					
Spark实验：Standalone模式安装部署（带答案）1

				
			

			

				

					08-03
				

			

		

		

			
				
2. **配置Spark环境变量**：在master节点的`.bash_profile`中添加Spark相关环境变量，如SPARK_HOME，然后在所有节点上使其生效。 3. **配置slaves文件**：将`slaves.template`重命名为`slaves`，并在其中列出所有从...

			
		

	





	

		

			

				
					
spark安装部署相关环境部署和代码编译部署文档

				
			

			

				

					07-21
				

			

		

		

			
				
### Spark安装部署相关环境部署和代码编译部署文档  #### 一、Spark 安装部署所需依赖  **1. JDK 安装与配置**  - **背景介绍：** Spark 使用 Scala 编写，但其运行环境基于 Java 虚拟机 (JVM)，因此安装 JDK 是必不...

			
		

	





	

		

			

				
					
Spark的集群环境部署

				
			

			

				

					xieyichun_的博客
				

				

					10-31
					
					1663
					
				

			

		

		

			
				
分享了spark的两个集群模式的配置方法

			
		

	





	

		

			

          精选资源
				
					
spark三种模式部署安装（基于Anaconda3实现spark编程）

				
			

			

				

					03-25
				

			

		

		

			
				
### Spark的三种部署模式与基于Anaconda3的Python编程实现  #### 一、Spark的部署模式  Apache Spark作为大数据处理领域的重要工具之一，其部署模式的选择对于应用性能有着至关重要的影响。Spark支持三种主要的部署...

			
		

	





	

		

			

				
					
Spark的安装及下载

				
			

			

				

					qq_68575975的博客
				

				

					03-08
					
					2418
					
				

			

		

		

			
				
跟着这位博主一步步安装就可以完成。

			
		

	





	

		

			

				
					
Spark3.1.2 Docker镜像资源

				
			

			

				

					01-29
				

			

		

		

			
				
Docker制作Spark3.1.2镜像

步骤一：docker build -t registry/spark:3.1.2 -f kubernetes/dockerfiles/spark/Dockerfile .
步骤二：docker images查看镜像
步骤三：导出镜像
docker save -o spark3.1.2.tar registry/spark:3.1.2

			
		

	





	

		

			

				
					
Windows 安装Spark 环境

				
			

			

				

					BoomLee的博客
				

				

					04-01
					
					552
					
				

			

		

		

			
				
1.下载地址


http://spark.apache.org/downloads.html


2.配置环境

解压到指定目录

添加环境变量


SPARK_HOME


内容为解压的目录


C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\


Path 里 添加


%SPARK_HOME%\bin;%SPARK_HOME%\sbin


验证...

			
		

	





	

		

			

				
					
spark下载太慢，网上找的国内源

				
			

			

				

					qq_64319049的博客
				

				

					06-04
					
					1332
					
				

			

		

		

			
				
清华软件源：

			
		

	





	

		

			

				
					
Spark清华镜像下载

					
热门推荐

				
			

			

				

					hua_you_qiang的博客
				

				

					03-20
					
					1万+
					
				

			

		

		

			
				
传送们：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/



			
		

	





	

		

			

				
					
Spark环境搭建

				
			

			

				

					Joker_Jiang3的博客
				

				

					07-03
					
					981
					
				

			

		

		

			
				
Spark环境搭建
一、local本地模式
1.下载spark压缩包spark-3.0.1-bin-hadoop2.7.tgz。地址： http://archive.apache.org/dist/spark/
2.解压并重命名
# 解压到指定路径
tar -zxvf spark-3.0.1-bin-hadoop2.7.tgz -C /opt/modules/
# 重命名
mv spark-3.0.1-bin-hadoop2.7 spark-3.0.1

3.测试

二、Standalone-独立集群模式


			
		

	





	

		

			

				
					
Linux 安装spark教程

				
			

			

				

					mao15827639402的博客
				

				

					08-11
					
					6951
					
				

			

		

		

			
				
Linux Spark的安装教程安装JDK安装Scala安装Spark
安装JDK

下载JDK: jdk-8u152-linux-x64.tar.gz
链接: https://pan.baidu.com/s/1d1lEELsUrXAQ–sf_PDBtg
提取码: ib5x
解压 : jdk-8u152-linux-x64.tar.gz
可以新建一个文件夹，命名为 java，然后将安装包放在这个新建的文件夹中，有助于文件管理。
命令中输入：

tar zxvf jdk-8u152-linux-x64.tar

			
		

	





	

		

			

				
					
Hudi学习二：spark-shell操作Hudi

				
			

			

				

					NC_NE的博客
				

				

					05-22
					
					2747
					
				

			

		

		

			
				
spark-shell操作hudi

			
		

	





	

		

			

				
					
windows10环境安装spark-3.0.3-bin-hadoop2.7

				
			

			

				

					TF666666的博客
				

				

					09-01
					
					9820
					
				

			

		

		

			
				
@[TOC]（windows10环境安装spark-3.0.3-bin-hadoop2.7和遇到的问题）
前言
星光不问赶路人，时光不负有心人。
刚刚接触spark，安装环境就暗了两天，目前遇到的问题，下面一一会有说明，希望能给到大家帮助，其中会用到其他人的博客，有的可能忘记标记引用，如看到，可以联系本人，进行及时更改
一、spark安装需要安装的相关的？
1.JDK安装（不会的网上有很多）本人安装的是Java 1.8.0_291
2.下载Hadoop_2.7.1
3.下载下载hadooponwindows

			
		

	





	

		

			

				
					
spark环境安装部署

				
			

			

				

					03-20
				

			

		

		

			
				
### Apache Spark 环境搭建与部署教程  #### 准备工作 在开始安装和配置 Spark 前，需确保已准备好必要的依赖环境。通常情况下，Spark 的运行需要 Java 和 Hadoop 支持。以下是具体需求： - 安装 JDK (建议版本 8 或...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Timber.Wang

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值