shell 下python/PySpark 代码高亮和 自动提示 代码补全

最新推荐文章于 2025-06-09 20:51:05 发布
最新推荐文章于 2025-06-09 20:51:05 发布
阅读量1.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Python Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wengyupeng/article/details/90776978
本文详细介绍如何使用特定版本的ptpython（0.41）避免自动提示bug，通过设置环境变量PYSPARK_DRIVER_PYTHON来增强Spark项目的交互式体验，并提供持久化配置的方法，确保ptpython设置不会在关闭session后丢失。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 用法

1.            pip install "ptpython==0.41"

#默认最新版本 ptpython-2.0.4  有bug, 自动提示不起作用。0.41的没问题

#pip版本（pip --version)，决定你装的库基于python2 还是3. 

 

2.           export PYSPARK_DRIVER_PYTHON=ptpython;

 

2. ptpython效果

对spark 项目，到Home目录下 运行 /bin/pyspark

 

3. ptpython 自定义配置保存

 

每次关了session 以后，自己ptpython的设置会丢失。 

Copy 下面的config.py（在config.py设置你的初始配置） 到       ~/.ptpython/config.py

https://github.com/prompt-toolkit/ptpython/blob/master/examples/ptpython_config/config.py

 

 

140种Python标准库、第三方库和外部工具
JanLEE
07-16 753
导读：Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库、函数和外部工具。其中既有Python内置函数和标准库，又有第三方库和工具。 这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习、数据可视化、交互学习和集成开发以及其他Python协同数据工作工具。 为了区分不同对象的来源和类型，本文将在描述中通过以下方法进行标识： Python内置函数：Python自带的内置函数。函数无需导入，
Python资源大全
zheng_ruiguo的专栏
03-01 7903
Python资源 Python 3.7.4 文档:https://docs.python.org/zh-cn/3.7/ 快速安装模块：pip3 install PyQt5 -i https://pypi.tuna.tsinghua.edu.cn/simple python开源项目及示例代码：https://www.cnblogs.com/dpf-learn/p/8053043....
PySpark核心编程（核心RDD API、核心原理）
weixin_52977075的博客
03-10 817
11.0 为什么要使用RDD？🐰 分布式计算需要： 分区控制、shuffer控制、数据存储/序列化、发送、数据计算 在分布式框架中，需要有一个统一的数据抽象对象来实现上述分布式计算所需的功能， 这个数据抽象对象就是RDD 1.1 RDD 是什么？-- 弹性分布式数据集 R ： 弹性 ：数据可以存放在内存中也可以存储在磁盘中 D ：分布式 ：分布式存储，用于分布式计算，RDD的数据是跨越机器存储（跨进程） D ：数据集 ：是一个数据的集合，用于存放数据 （ 类使用 list、Dict、array
python shell自动补全
weixin_34226182的博客
12-28 120
2019独角兽企业重金招聘Python工程师标准>>> ...
PySpark开发环境搭建全攻略：从零开始构建大数据分析平台
最新发布
2401_84460368的博客
06-09 716
新建项目时选择Existing interpreter。# 推荐使用Miniconda管理Python环境。# 可选：安装jupyterlab用于交互开发。安装Python扩展和Jupyter扩展。指定conda环境的Python解释器。内存：8GB（16GB以上更佳）建议使用集群部署，至少3节点。# 编辑~/.bashrc。每个节点16GB内存起步。硬盘：50GB可用空间。# 安装PySpark。# 启动Jupyter。# 读取HDFS数据。# 设置允许远程访问。
配置python命令tab键自动补全
weixin_30892763的博客
02-18 186
本文实例讲述了Python实现Tab自动补全和历史命令管理的方法。分享给大家供大家参考。具体分析如下： Python的startup文件，即环境变量 PYTHONSTARTUP 对应的文件 1. 为readline添加tab键自动补全的功能 2. 像Shell一样管理历史命令 代码如下： 代码如下: import rlcompleter import...
python命令行代码的自动补全
路漫漫其修远兮 吾将上下而求索
04-10 5212
让 python 命令行也自动补全 许多人都知道 iPython 有很好的自动补全能力，但是就未必知道 python 也同样可以 Tab 键补全， 您可以在启动 python 后，执行下import readline, rlcompleter; readline.parse_and_bind("tab: complete")这就可以按 Tab 键补全了。python 自启动 如果您嫌每次都要键入
使用Shell传参解决DataPhin中PySpark不支持中文的问题
虎鲸不是鱼
03-21 589
使用Shell传参解决DataPhin中PySpark不支持中文的问题
Python大数据之PySpark(二)PySpark安装_支持 依赖项 ‘python pyspark‘ 的插件 spark 当前尚未安装。(1)
2401_84182507的博客
04-28 1674
1-如何安装PySpark？Linux的Anaconda安装2-如何安装anconda？3-Anaconda有很多软件4-Anaconda中可以利用conda构建虚拟环境5-如何查看conda创建的虚拟环境？PySpark安装查看启动结果简单的代码演示在虚拟环境下的补充webuiJupyter环境设置监控页面运行圆周率或者def pi(times): # times的意思是落入到正方形的次数x_time = 0。
Python库大全以及相关连接
Prince的博客
04-29 1453
环境管理 管理 Python 版本和环境的工具 p – 非常简单的交互式 python 版本管理工具。 pyenv – 简单的 Python 版本管理工具。 Vex – 可以在虚拟环境中执行命令。 virtualenv – 创建独立 Python 环境的工具。 virtualenvwrapper- virtualenv 的一组扩展。 包管理 管理包和依赖的工具。 pip – ...
pyspark_nltk数据和代码
06-03
用pyspark+nltk处理文本数据
Python的Spark：Python的Spark基础（使用PySpark），代码示例
01-30
用Python火花 Apache Spark 是技术领域中最热门的新趋势之一。 它是实现大数据与机器学习结合的成果的最大潜力框架。 它运行速度快（由于在内存中进行操作，因此比传统的快100倍，提供健壮的，分布式的，容错的数据对象（称为 ），并通过诸如的补充包与机器学习和图形分析领域完美集成和 。 Spark在上实现，并且主要用 （一种类似于Java的功能性编程语言）编写。 实际上，Scala需要在您的系统上安装最新的Java并在JVM上运行。 但是，对于大多数初学者来说，Scala并不是他们首先学习的语言，它可以涉足数据科学领域。 幸运的是，Spark提供了一个很棒的Python集成，称为PySpark，它使Python程序员可以与Spark框架进行交互，并学习如何大规模操作数据以及如何在分布式文件系统上使用对象和算法。 笔记本电脑 RDD和基础 数据框 使用Python 3和Jupyter Notebook设置Apache Spark 与大多数Python库不同，让PySpark开始正常工作并不像pip install ...和import ...那样简单。我们大多数基于P
pyspark
03-08
pyspark 该存储库专用于pyspark的代码段。 该代码已针对为Hadoop 2.7.3构建的Spark 2.4.6进行了测试。 注意：为了通过pyspark连接到Mongodb，您需要其他jar文件，具体取决于您使用的spark版本。 有用链接：
学习笔记--【Spark学习：PySpark代码】
supremacy_IQ的博客
12-27 1847
学习笔记！！
pyspark 代码练习1
Lestat.Z.的博客
09-07 623
记录下最近写过的pyspark代码，如下： edaStats = namedtuple('edaStats', 'is_numeric, n_unique, n_missing, _min, _25, _50, _75, _max, n_unique, n_freq, mean ') def eda_stats(dataframe, field_name, field_type): is_...
pyspark 相关代码记录(Transformation 算子)
qq_35482604的博客
01-23 791
在conda activate pyspark 的环境中运行更快 1. WordCount from pyspark import SparkConf,SparkContext if __name__ == '__main__': conf = SparkConf().setAppName("WorldCount").setMaster("local") sc = SparkContext(conf=conf) file_rdd = sc.textFile("hdfs://47.
遇到的实际问题pyspark代码
weixin_42911609的博客
03-12 254
consume_by = consume_list[len(consume_list) - 1][1] - consume_list[0][1] #末次打赏数减去首次打赏数 first_list = consume_list[0][3] #打赏值为列表的列表。取初次打赏值。一次开播的打赏为一个列表，所有列表为一个列表的列表 last_list = consume_list[len(consum...
pyspark 代码练习2
Lestat.Z.的博客
09-07 641
记录下最近写过的pyspark代码，如下： def sparkDFunion(df1, df2): cols1 = df1.columns cols2 = df2.columns total_cols = sorted( cols1 + list(set(cols2) - set(cols1))) def expr(mycols, allcols): ''' return th...
/usr/local/spark$ ./bin/pyspark Python 3.5.2 (default, Jan 26 2021, 13:30:48) [GCC 5.4.0 20160609] on linux Type "help", "copyright", "credits" or "license" for more information. Could not open PYTHONSTARTUP FileNotFoundError: [Errno 2] No such file or directory: '/usr/local/spark/python/pyspark/shell.py'
05-25
这个错误提示是因为在启动 PySpark 时，找不到 `/usr/local/spark/python/pyspark/shell.py` 文件，可以尝试以下几个步骤来解决问题： 1. 确认 Spark 安装路径是否正确，如果不正确，需要修改命令中的路径。 2. 检查是否需要设置 PYTHONPATH 环境变量，如果需要，可以使用以下命令设置： ``` export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH ``` 其中 `$SPARK_HOME` 是 Spark 的安装路径。 3. 检查是否有必要安装 PySpark，如果没有安装，可以通过以下命令安装： ``` pip install pyspark ``` 如果以上方法无法解决问题，可以尝试搜索相关错误信息或者查看 Spark 官方文档获取更多帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值