pyspark提交代码到yarn模式，报错ImportError: No module

最新推荐文章于 2023-12-16 17:35:14 发布
原创 最新推荐文章于 2023-12-16 17:35:14 发布 · 1.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细阐述了在PySpark任务于YARN集群环境下，解决numpy等Python包缺失问题的具体步骤。从创建虚拟环境、打包上传至HDFS，到spark-submit命令配置及环境变量设置，提供了一套完整方案，确保大数据分析任务顺利执行。

上一篇：PySpark任务在YARN集群上运行 关联python包numpy pandas scipy 等
 

问题：

在提交ALS.train代码到yarn模式的时候，会出现如下报错：

import numpy as np
ImportError: No module named numpy


说pandas的的dependency numpy包不存在，但事实上install pandas时，numpy必定是已经装过的，所以就到处找，应该是环境没有设置

解决方式：

1. 创建虚拟python环境

这个不多介绍了，不管是通过annaconda还是virtualenv，创建好你自己的python环境。如果你也碰到了离线的平台，建议查看上面的 坑2：自己用docker做一个和服务器一样的系统版本，在上面完成虚拟的环境的创建，再将其拷贝出来；


2. 打包虚拟环境并将其上传hdfs

创建好环境后，进入到环境所在的文件夹，例如你的环境是 ***/***/project_env, cd到project_env下，使用打包命令将当前目录下的文件打包

zip -r project_env.zip ./*

在当前文件夹下，将其上传至hdfs

hadoop fs -put ***/***/project_env/project_env.zip hdfs://***/***/***/env/

3. 使用spark-submit命令引用

client模式下


                

        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
在spark上运行Python脚本遇到“ImportError: No module name xxxx”

				
			

			

				

					ClaireQi的博客
				

				

					08-03
					
					1万+
					
				

			

		

		

			
				
在spark上运行Python脚本遇到“ImportError: No module name xxxx”

这是因为运行Python脚本的集群上的Python环境里缺乏脚本运行需要的依赖。

根据所需依赖的不同性质可以分为3类：

（1）单个的*.py或者*.py[co]

（2）自建模块

（3）自包含的依赖项

（4）复杂依赖

【1】只依赖于单个文件（only depend on a si...

			
		

	



                

            
              



	

		

			

				
					
pySpark提交提交任务到Yarn

				
			

			

				

					硅谷工具人
				

				

					05-02
					
					1523
					
				

			

		

		

			
				
spark-submit \
--conf spark.dynamicAllocation.enabled=false \
--name pool_liquidity_info \
--master yarn \
--deploy-mode cluster \
--queue prod \
--driver-memory 20G \
--num-executors 20 \
--executo...

			
		

	



              


  
              

                


	

		

			

				
					
PYSPARK ON YARN报错集合

				
			

			

				

					weixin_45621200的博客
				

				

					08-05
					
					3537
					
				

			

		

		

			
				
pyspark报错整理

			
		

	





	

		

			

				
					
ImportError: No module named numpy 在pyspark用 MLlib时,需要引入numpy包出现没有包的情况

				
			

			

				

					Jron_的博客
				

				

					06-02
					
					1082
					
				

			

		

		

			
				
原因
python2.7已经不支持更新了。
可以在linux下载
sudo apt install python-numpy
下载其它包同样同理



			
		

	



		

			
		



	

		

			

				
					
spark使用独立的Python环境提交任务

				
			

			

				

					wang_306的专栏
				

				

					07-30
					
					5977
					
				

			

		

		

			
				
背景

由于需要在公司的大数据平台上使用自己的Python环境，折腾了很久，特此记录

先说几个坑：

需要注意版本，不同的spark版本会有些不同，当前我的spark版本是2.2.1，如果以下的方式不生效，记得先看看版本；
由于公司平台的环境是离线的，pip down下载的包是需要和硬件架构匹配的，我在mac上pip down的包拿到Linux下是无法正常安装的，建议看一下这篇文章的介绍：htt...

			
		

	





	

		

			

				
					
pyspark程序运行报错：no module named XXX（本地pycharm没问题而线上cmd下运行有此问题）

				
			

			

				

					sinat_26566137的博客
				

				

					03-31
					
					5799
					
				

			

		

		

			
				
（一）场景问题
1）我在本地pycharm项目分支下运行文件，运行方式是：先cd到项目根目录，然后再运行本地提交命令；现在把该部分代码打包上传到线上，直接在命令行运行，就会报no module named XXX错误；
本地目录：

gd_data

biz

t14

sub

clean_data

data_clean

clean_saic_part1.py(含import clean_u...

			
		

	





	

		

			

				
					
spark的python环境及No module问题（超详细）

				
			

			

				

					大柳的博客
				

				

					01-07
					
					4189
					
				

			

		

		

			
				
Spark集群与python的结合
从上一篇文章我们知道，spark有几种资源管理方式，具体可参考：spark几种集群管理器总结
如果Spark Application运行在yarn集群上，在这种运行模式下，资源的管理与协调会统一由yarn处理，而这种模式就能够实现基于yarn集群运算的Application的多样性，可以支持运行MapReduc程序、HBase集群、Storm集群，还可以运行使用Python开发的机器学习应用程序，等等。
我们知道，Spark on YARN又分为client模式和clus

			
		

	





	

		

			

				
					
/export/server/anaconda3/envs/pyspark/bin/python /tmp/pycharm_project_671/sparks/sparkAna.py 
Warning: Ignoring non-Spark config property: hive.metastore.uris
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
25/06/12 00:53:28 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Traceback (most recent call last):
  File "/export/server/anaconda3/envs/pyspark/lib/python3.8/site-packages/pyspark/sql/pandas/utils.py", line 27, in require_minimum_pandas_version
    import pandas
ModuleNotFoundError: No module named 'pandas'

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/tmp/pycharm_project_671/sparks/sparkAna.py", line 31, in <module>
    df = result1.toPandas()
  File "/export/server/anaconda3/envs/pyspark/lib/python3.8/site-packages/pyspark/sql/pandas/conversion.py", line 86, in toPandas
    require_minimum_pandas_version()
  File "/export/server/anaconda3/envs/pyspark/lib/python3.8/site-packages/pyspark/sql/pandas/utils.py", line 34, in require_minimum_pandas_version
    raise ImportError(
ImportError: Pandas >= 1.0.5 must be installed; however, it was not found.

进程已结束，退出代码为 1

					
最新发布

				
			

			

				

					06-13
				

			

		

		

			
				
关键点：-用户在PySpark提交代码到Yarn模式时遇到ImportError，说Pandas的dependencyNumpy包不存在，尽管安装Pandas时应该已经安装了Numpy。-用户想解决Pandas库未安装的问题。系统级指令：-所有行内数学表达式用$.....

			
		

	





	

		

			

				
					
《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

				
			

			

				

					wux_labs的博客
				

				

					12-16
					
					1797
					
				

			

		

		

			
				
大家好！今天为大家分享的是《PySpark大数据分析实战》第2章第4节的内容：Spark on YARN配置Spark运行在YARN上。

			
		

	





	

		

			

				
					
python虚拟环境可以运行pyspark_Pyspark spark-submit 集群提交任务以及引入虚拟环境依赖包攻略...

				
			

			

				

					weixin_39646725的博客
				

				

					11-23
					
					512
					
				

			

		

		

			
				
网上提交 scala spark 任务的攻略非常多，官方文档其实也非常详细仔细的介绍了 spark-submit 的用法。但是对于 python 的提交提及得非常少，能查阅到的资料非常少导致是有非常多的坑需要踩。官方文档对于任务提交有这么一段介绍，但是初次使用者依然会非常疑惑：Bundling Your Application’s DependenciesIf your code depends ...

			
		

	





	

		

			

				
					
spark的学习之路：pyspark的本地运行以及在YARN的运行

				
			

			

				

					xiameimei_win的博客
				

				

					03-29
					
					5986
					
				

			

		

		

			
				
一、本地运行

pyspark --master local[N]

local[N] 代表在本地运行，N的值代表同时执行N个程序



（1）查看当前的运行模式：sc.master



（2）读取本地文件，路径之前加上“file：”

  testFile = sc.textFile('file:/usr/local/spark/README.md')

（3）显示项数

testFil...

			
		

	





	

		

			

				
					
Spark On YARN时指定Python版本

				
			

			

				

					benrciv的博客
				

				

					02-10
					
					2468
					
				

			

		

		

			
				
Spark On YARN时指定Python版本

			
		

	





	

		

			

				
					
spark  No module named numpy

				
			

			

				

					qq_20488317的博客
				

				

					05-01
					
					4604
					
				

			

		

		

			
				
提交spark的时候报错解决方法：1，首先pyspark尝试import numpy.发现报错：“No module named numpy”2,  上面的错误表示当下的python没有安装numpy,安装即可。3，一般情况下不需要安装的，该机器下应该有多个版本的python.whereis python找到各个版本的python，依次查看是否安装了numpy.4，找到安装numpy的python...

			
		

	





	

		

			

				
					
pyspark遇到的坑

				
			

			

				

					大雄号的博客
				

				

					10-14
					
					820
					
				

			

		

		

			
				
expected zero arguments for construction of ClassDict (for numpy.dtype)

			
		

	





	

		

			

				
					
spark-driver 集群与driver节点 Python版本 不一致报错

				
			

			

				

					FisherWang_CN
				

				

					04-26
					
					2222
					
				

			

		

		

			
				
1、环境说明：driver节点使用Python3.5，集群使用Python2.7。2、出现报错Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run with different minor versions.Please check environment ...

			
		

	





	

		

			

				
					
pyspark启动遇到的问题及解决方法

					
热门推荐

				
			

			

				

					不懂语言的猿
				

				

					10-08
					
					1万+
					
				

			

		

		

			
				
本文主要解决pyspark启动时常见的两种问题，以及pyspark启动后Tab无法补全的问题。

			
		

	





	

		

			

				
					
PySpark集群出错解决记要

				
			

			

				

					俊伟的博客
				

				

					07-01
					
					572
					
				

			

		

		

			
				
一、现象

用java写的在spark on yarn 模式下正常。
用python写的在spark on local 模式下正常，在spark on yarn 模式下出错。

Exception: Randomness of hash of string should be disabled via PYTHONHASHSEED
        at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193)
   

			
		

	





	

		

			

				
					
python代码报错No module named numpy问题

				
			

			

				

					TwcatL
				

				

					09-28
					
					8388
					
				

			

		

		

			
				
则会出现No module named numpy报错，即使是在python程序开头导入"import numpy as numpy"在dos窗口找到python安装位置输入"pip install numpy --ignore-installed numpy"语句。（1）是直接在dos窗口找到python安装位置直接输入"pip install numpy"语句。在命令行窗口中输入"pip install numpy"要在linux的系统应该是要在前面加多"sudo"字段。此时输入回车等待安装即可。

			
		

	





	

		

			

				
					
yarn install 报错 error:0308010C

				
			

			

				

					04-25
				

			

		

		

			
				
这个错误可能是由于SSL证书验证失败引起的。...然后再运行 `yarn install` 看看是否依然报错。如果依然报错，可能需要在网络连接上做出一些调整，例如切换到一个可靠的网络连接或是修改防火墙设置。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值