64位UBUNTU 下安装和配置使用python的spark

最新推荐文章于 2024-09-20 21:16:21 发布
原创 最新推荐文章于 2024-09-20 21:16:21 发布 · 3.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #ubuntu #python

在64位Ubuntu上配置Spark，首先需安装OracleJDK，配置JAVA和PYTHON环境变量。接着，下载并安装Spark，设置SPARK_HOME和PYTHONPATH。通过验证pyspark启动，确保安装成功。若遇到'libjava.so'问题，可能需更换Java版本。

要安装和配置好spark，首先需要有JAVA环境，因为Spark是运行在JVM上的。但ubuntu 上的java默认是openjdk，我们需要自己下载安装和配置OracleJDK。而要用spark的python API，则要有python解释器，但是这个ubuntu里面已经自带了。所以配置spark的步骤大致如下：

（1）环境准备，安装oracleJDK，配置java和python环境变量
（2）安装scala（如果不使用scala开发，是否这一步可不用？）
（3）安装spark，配置spark环境变量
（4）验证安装情况


1.环境准备

安装Oracle JDK，到Oracle 官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载64位linux版的安装包jdk-8u77-linux-x64.tar.gz，

进入下载文件夹，将下载的安装包放到特定目录下：


                

        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    

      

        

            

              
                
                  cdw_FstLst
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
Ubuntu 安装 Spark

				
			

			

				

					哦吼
				

				

					04-05
					
					1072
					
				

			

		

		

			
				
Spark安装
 Spark安装一、安装步骤①解压下载的安装包②建立软链接③配置环境变量④修改Spark配置文件⑤把python3命令拷贝为python命令⑥修改spark-env.sh 设置主节点和从节点的配置⑦修改启动脚本的名称⑧启动spark服务二、验证启动结果①从Web端查看虚拟机启动情况②运行命令启动

一、安装步骤
安装spark之前一定要安装jdk，可以查看文章：Hadoop安装前准备
①解压下载的安装包
tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz
tar 

			
		

	



                

            
              



	

		

			

				
					
Ubuntu14从安装虚拟机开始配置Spark环境，步骤十分详细，步步配图

				
			

			

				

					莫莫先生的博客
				

				

					02-23
					
					4520
					
				

			

		

		

			
				
本文集成了以下内容：
1.ubuntu虚拟机的安装，以及更换虚拟机下载源的方法;
2.配置Java环境，解决Xftp中文乱码的方法；
3.配置scala环境；
4.配置hadoop环境（伪分布式）；
5.配置spark环境（单机模式）。

			
		

	



              


  
              

                


	

		

			

				
					
Ubuntu16.04安装Hadoop+Spark+pyspark大数据python开发环境

				
			

			

				

					sinat_28371057的博客
				

				

					09-09
					
					2745
					
				

			

		

		

			
				
 

一，安装jdk1.8.0.144

下载地址：www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

Ubuntu配置jdk运行环境


export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin...

			
		

	





	

		

			

				
					
Ubuntu下使用Python开发Spark程序

				
			

			

				

					陈杰
				

				

					12-28
					
					1899
					
				

			

		

		

			
				
1、安装配置好Spark环境，确认执行Spark目录下的/bin/pyspark能够成功进入。
Spark 集群搭建从零开始之1 Scala的安装与配置

Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置

Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试

2、安装anaconda2
https://www.anaconda

			
		

	



		

			
		



	

		

			

				
					
Ubuntu安装spark

				
			

			

				

					优快云baiduyun的博客
				

				

					10-31
					
					741
					
				

			

		

		

			
				


直接  pip install pyspark

 

			
		

	





	

		

			

				
					
Ubuntu下安装spark.pdf

				
			

			

				

					09-29
				

			

		

		

			
				
此外，在设置和使用Spark之前，建议检查系统环境，确保Java环境已经安装并配置好。Spark是用Scala编写的，它在运行时需要依赖Java环境，因此Java是Spark的必要条件之一。  最后，考虑到技术限制和文件的OCR扫描错误...

			
		

	





	

		

			

				
					
spark的Ubuntu下的安装包

				
			

			

				

					12-27
				

			

		

		

			
				
使用 spark-3.5.0-bin-hadoop3.tgz 进行部署和配置通常需要一定的经验和知识，尤其是对于那些已经熟悉Apache Spark和Hadoop的用户和开发者。一旦部署完成，您可以轻松地设置Spark集群，运行大规模数据处理任务，实现...

			
		

	





	

		

			

				
					
ubuntu20安装Spark和pyspark的简单使用

				
			

			

				

					qq_22808061的博客
				

				

					08-17
					
					2736
					
				

			

		

		

			
				
Hadoop存在如下一些缺点：表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Spark在借鉴Hadoop MapReduce优点的同时，很好地解决了MapReduce所面临的问题。...

			
		

	





	

		

			

				
					
Ubuntu下配置Python和Spark环境的星火ETL教程

				
			

			

				

					
				

			

		

		

			
				
### 描述：“下载Ubuntu 18.04（附带python-3.6的船舶），安装JDK-8，scala，pip3，spark + hadoop-2.4.0（因为它需要与python-3.6和java-8兼容，所以很关键），git ...（最近了解到还可以使用从Docker Hub安装的...

			
		

	





	

		

			

				
					
spark+python+ubuntu环境配置

				
			

			

				

					konglingshneg的博客
				

				

					09-07
					
					4067
					
				

			

		

		

			
				
1.ubuntu使用虚拟机，即使出错也不会影响其他。

2.python在ubuntu已经自带，但是要重新更新为python3，并且默认使用python3.谷歌一下有相关教程。java得安装一下。

提高python3优先级

直接执行这两个命令即可：

sudo update-alternatives --install /usr/bin/python python /usr/bin/pytho...

			
		

	





	

		

			

				
					
Linux下搭建Spark 的 Python 编程环境的方法

				
			

			

				

					09-15
				

			

		

		

			
				
主要介绍了Linux下搭建Spark 的 Python 编程环境的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下

			
		

	





	

		

			

				
					
ubuntu体验python_Ubuntu 安装 Spark 3.0.1 初体验

				
			

			

				

					weixin_35786770的博客
				

				

					02-22
					
					371
					
				

			

		

		

			
				
官方入门文档https://spark.apache.org/docs/latest/Spark 下载地址https://spark.apache.org/downloads.html需要注意，默认这个页面的 jquery 文件地址被墙了，需要自行解决。我选择 Spark 3.0.1 版本 pre build for apache hadoop 2.7。网站会自动推荐一个下载地址，可以看到默认选择...

			
		

	





	

		

			

				
					
Ubuntu&Spark安装及配置&Linux基本操作

				
			

			

				

					菌果bell的博客
				

				

					03-13
					
					855
					
				

			

		

		

			
				
修改用户权限（root的权限和非root不一样）：方法一：1.sudo gedit /etc/passwd2.修改ID：1000->0方法二（推荐）：Ubuntu&Spark安装及配置&Linux基本操作1.设置root密码：sudo passwd root2.设置密码3.获取root权限：su （按enter）安装VMware Tools：1.“虚拟机”菜单栏-安装VMwa...

			
		

	





	

		

			

				
					
python 3.4.3 下载安装与环境配置 pip

					
热门推荐

				
			

			

				

					u012803067的博客
				

				

					03-25
					
					1万+
					
				

			

		

		

			
				
 python 3.4.3 下载安装与环境配置2017年07月05日 10:57:532245人阅读 评论(0) 收藏 举报 分类：【Python】（30） 版权声明：本文为博主原创文章，转载请注明出处 https://blog.csdn.net/xunalove/article/details/74387833目录(?)[+]简介： Python 是一个高层次的结合了解释性、编译性、互动性和面向...

			
		

	





	

		

			

				
					
Ubuntu 16.04 Spark安装

				
			

			

				

					诺亚废船
				

				

					10-09
					
					2289
					
				

			

		

		

			
				
Spark安装步骤：1：需要安装jdk，并配置环境变量2：安装Scala，并配置环境变量3：安装Spark，配置所要用的Python版本1.安装JDK首先来安装JDK：
sudo mkdir /usr/lib/jdk在/usr/lib/目录下创建jdk文件夹，我们计划讲jdk安装在/usr/lib/jdk目录下。
切换至jdk-8u144-linux-x64.tar.gz的目录下
sudo tar

			
		

	





	

		

			

				
					
ubuntu下安装python3.4

				
			

			

				

					baidu_15113429的博客
				

				

					05-06
					
					1484
					
				

			

		

		

			
				
亲测有效：
  http://www.cnblogs.com/gzp2015/p/4617268.html 
  在make和make install 前面添加sudo

			
		

	





	

		

			

				
					
ubuntu安装Spark

				
			

			

				

					qq_37797234的博客
				

				

					05-19
					
					715
					
				

			

		

		

			
				
一、安装JDK8
1、解压
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads  #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

2、

			
		

	





	

		

			

				
					
Ubuntu18.04 安装 java、python、hadoop、scala、spark、zoopeeper、kafka

				
			

			

				

					蕾姆的博客
				

				

					01-29
					
					502
					
				

			

		

		

			
				
linux 安装软件的步骤都是一样的，解压之后就可以使用。

https://blog.csdn.net/ii719481781/article/details/81807731

一  预处理

1、把下载好的软件对应的压缩包解压到指定文件夹


sudo tar -zxvf /home/hadoop/download/x.tgz -C /usr/local


2、重命名，因为解压后的文件带有...

			
		

	





	

		

			

				
					
【亲测免费】 探索大数据处理的新境界：Ubuntu 22.04下Spark 2.4.0与PySpark的完美结合

					
最新发布

				
			

			

				

					gitblog_06571的博客
				

				

					09-20
					
					439
					
				

			

		

		

			
				
探索大数据处理的新境界：Ubuntu 22.04下Spark 2.4.0与PySpark的完美结合

    
        
            【下载地址】Ubuntu22.04下在Spark2.4.0中采用Local模式配置并启动pyspark附Ubuntu更改默认Python版本
            本资源为您提供了一份详尽的指南，旨在帮助用户在Ubuntu 22.04操作系统环...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值