Ununtu下运行 pyspark找不到python问题解决办法

最新推荐文章于 2025-01-10 20:30:39 发布
原创 最新推荐文章于 2025-01-10 20:30:39 发布 · 1.5k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pyspark

在Ubuntu1804.1环境下，安装完Spark后尝试运行pyspark时遇到错误，原因是系统默认调用的是Python而非Python3。通过调整Python3的优先级，更新系统别名设置，成功解决了pyspark执行代码的问题。

安装完saprk后想试试pyspark，结果在终端输入pyspark后报错：

考虑是python路径设置的问题，在终端中输入python，提示未找到python命令，但已安装python3（事先未安装python，是linux自带的python，linux版本为ubantu 18 04.1），键入python3命令后能够进入python解释器，说明python是安装好的。

问题显而易见了，pyspark中使用python命令执行代码，而正确的命令应为python3，解决方法如下：



提高python3优先级

直接执行如下指令

sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

然后在终端输入pyspark, 运行成功

linux下运行pyspark找不到python问题解决
qq_34467412的博客
09-28 8001
我本来的方法是修改安装的python3为python，后面意识到会影响到同时安装的pip3，并且会和linux自带的python解释器产生混淆，于是考虑评论的建议： sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150 执行以上代码提高python3的优先级（未验证，因为博主转学NLP啦~...
从0开始学pyspark（一）：ubuntu pyspark运行环境配置
泛泛之素
06-01 7376
最近在研究spark，虽然windows下也能安装运行spark（亲测可行，但是开放9000端口还是连接不上docker上部署的hdfs），但是在windows下使用多有不便，于是安装了双系统（网上教程很多），如果在安装过程中出现卡死问题，可以看看这篇能不能解决 https://blog.youkuaiyun.com/tonydz0523/article/details/80532615 在ubuntu上配...
执行pyspark报错env: ‘python’: No such file or directory问题
Poor - Because you have no ambition
05-15 3243
前提条件： Ubuntu18.04环境安装好Spark2.x，并配置好环境变量安装好python3问题： 执行pyspark脚本报错 原因： 因为没有配置Spark python的环境变量解决办法： 添加python相关环境变量 注意：py4j-0.10.7-src.zip要到$SPARK_HOME/python/lib目录查看是否是这个名称。不同版本的py4j的名称会有差别保存后，让环境变量生效 再次输入pyspark，成功如下： 查看Web监控页面：浏览器输入ip:4040......
ubuntu终端运行python找不到模块_命令行运行python模块时提示包找不到的问题
weixin_39621379的博客
11-20 1621
庄稼人不是专职python开发的道友。尽管与python相识已多年，可惜相识不相知，仅仅是偶尔借助pydev写一些简单的小工具。多年来。一直困惑于这样一个问题：相同的project。相同的代码，使用pydev能够执行随意一个python脚本，而使用命令行执行却不行？命令行下（或者双击执行）总是提示“ImportError: No module named xxx”？pydev到底做了什么魔术呢？长...
python系统找不到指定路径,pyspark：系统找不到指定的路径
weixin_30384285的博客
11-24 1262
I just installed pyspark 2.2.0 using conda (using python v3.6 on windows 7 64bit, java v1.8)$conda install pysparkIt downloaded and seemed to install correctly with no errors. Now when I run pyspark o...
pycharm中pyspark编程报错提示没有pyspark包
小白白白白
04-29 1467
对于这个问题可以直接在pycharm界面下面的Terminal中执行pip install pyspark命令进行安装 ps：最好用手机热点安装，我一开始使用的校园网安装的提示域名无法解析，后来换成手机热点才可以
ubuntu20安装Spark和pyspark的简单使用
qq_22808061的博客
08-17 2729
Hadoop存在如下一些缺点：表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Spark在借鉴Hadoop MapReduce优点的同时，很好地解决了MapReduce所面临的问题。...
ubuntu18.04安装pyspark+jupyter指南
TUT我好菜啊
04-21 922
1. jdk，hadoop，spark，anaconda，pyspark的安装请按照这位博主的教程进行 如果是使用jupyter运行的话，不需要安装第五步zeppelin，但请务必确认前四步都完成了 我的jdk版本是1.8.0_281，hadoop是2.10.1，spark是2.4.7，python是3.7.0 2. vim ~/.bashrc修改环境变量 export JAVA_HOME=/home/cxq/java/jdk1.8.0_281 export JRE_HOME=/home/cxq/
Pyspark环境搭建遇到的一些问题解决办法~~实用！
何妨吟啸且徐行
03-05 2986
执行pyspark报错env: ‘python’: No such file or directory问题 这学期学大数据分析与内存计算，在搭建spark环境前期遇到了一些问题，零零散散的，统计并记录一下。这两天很感谢我的上官老师，还有热心帮助我的同学！ 问题一 xshell新建会话，建立连接，没有ssh警告，导致无法连接 解决办法： 我很懒，方法如下图： 下面这句话需要先在linux系统上执行，然后再去连接xshell，不然连接不上滴~ sudo apt-get install openssh-serv
Python运行pyspark时报错怎么解决
blackstonejet的博客
04-27 343
conf = SparkConf().setMaster("local[*]").setAppName("test_spark") #链式调用。os.environ['PYSPARK_PYTHON'] = "D:/JAVA文档/venv/Scripts/python.exe"print("版本",sc.version)
启动pyspark时：/usr/local/spark/bin/pyspark: 行 45: python: 未找到命令
哇咔咔哇咔的博客
03-02 2019
启动pyspark时：/usr/local/spark/bin/pyspark: 行 45: python: 未找到命令的解决方法
pyspark 中使用集群未安装的python三方库：加载虚拟python环境
tinstone的博客
10-20 3284
pyspark 中使用集群未安装的python三方库：加载虚拟python环境 在使用pyspark运行python代码的过程中，通常遇到集群环境中没有相应的python三方库，即：ImportError: No module named ** ，对于该种情况，通常有两种解决方案： 1. 集群中的python环境安装相应的三方库！ 走流程、找运维，贼麻烦 2. 集群未配置python环境，加载虚拟python环境！（重点讲解该方式，用起来贼方便） 未加载库的通常处理方式 使用pyspark过程中
pyspark启动遇到的问题及解决方法
热门推荐
不懂语言的猿
10-08 1万+
本文主要解决pyspark启动时常见的两种问题，以及pyspark启动后Tab无法补全的问题。
Spark运行报错：java.io.IOException: Cannot run program “python3“: CreateProcess error=2, 系统找不到指定的文件
weixin_44063145的博客
12-09 2801
Pyspark本地运行遇到的环境问题
启动spark standalone 模式出现python找不到
qq_63041639的博客
01-10 134
需要先切换到安装anaconda的用户（root）打开自定义带有python版本的环境（conda activate pyspark（环境名称）），然后切换回普通用户（hadoop用户）使用spark bin目录下的./pyspark --master spark://node1:7077命令启动saprk。
/pyspark: 行 45: python: 未找到命令 env: "python": 没有那个文件或目录的解决方案
Lsx2018223的博客
03-23 4140
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
pyspark 启动env: /usr/local/python3/bin: Permission denied
weixin_40122615的博客
09-27 6206
使用本机安装的python3的路径，启动出现的错误如图所示 问题是：设置的安装路径的问题修改spark-env.sh配置文件中PYSPARK_PYTHON的路径即可，将路径修改为红线所示的路径，修改结果如图所示： ...
Ubuntu中pyspark已经安装成功为什么运行Ubuntu中的pycharm显示没有安装pyspark
最新发布
10-12
当在Ubuntu系统中已成功安装pyspark，但在Ubuntu的pycharm中显示未安装时，可以尝试以下解决办法： ### 检查Python版本 Ubuntu 16.04安装完成后自带Python 2.7和3.5版本，系统默认使用2.7版本，而使用过程中可能需要Python 3.5以上版本，若版本不匹配可能导致PyCharm识别问题。需进行Python版本的切换，确保PyCharm使用的Python解释器版本与安装PySpark时的Python版本一致。若在默认使用2.7版本时，在PyCharm中安装第三方库PySpark会失败并报错，可新开一个terminal，再执行相关命令来尝试解决版本问题[^2][^3]。 ### 配置PyCharm解释器 在PyCharm中配置文件，使PyCharm目录连接到Ubuntu目录，确保PyCharm能正确找到已安装的PySpark。打开PyCharm，进入设置（Settings），找到“Project: [项目名称]” - “Python Interpreter”，检查解释器路径是否正确，若不正确，选择正确的Python解释器路径，该路径应与安装PySpark时使用的Python解释器路径一致。 ### 刷新PyCharm的包列表 有时PyCharm可能没有及时更新包列表，导致显示未安装。在PyCharm的“Python Interpreter”界面，点击刷新按钮，让PyCharm重新检测已安装的包。 ### 手动添加PySpark路径 若上述方法都无法解决，可手动将PySpark的路径添加到PyCharm的解释器路径中。在“Python Interpreter”界面，点击“Show All”，选择当前使用的解释器，点击右侧的齿轮图标，选择“Show paths for the selected interpreter”，在弹出的窗口中点击“+”，添加PySpark的安装路径。 ### 代码验证 在PyCharm中运行以下代码，验证PySpark是否能正常使用： ```python from pyspark.sql import SparkSession # 创建SparkSession spark = SparkSession.builder.appName("TestPySpark").getOrCreate() # 打印SparkSession信息 print(spark) # 停止SparkSession spark.stop() ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

訾尤

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值