PyCharm远程操作服务器Spark

最新推荐文章于 2024-11-23 21:28:25 发布
原创 最新推荐文章于 2024-11-23 21:28:25 发布 · 1.7k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在PyCharm Professional版本中配置远程操作CentOS服务器上的Spark环境，包括环境准备、Pycharm部署配置及interpreter设置，适用于Python3.6.5与Spark2.4.3版本。

PyCharm远程操作服务器Spark

1.环境准备
- windows
JetBrains PyCharm 2019.1.3 Professional版本
- Linux(CentOS)
Python version 3.6.5
Spark version 2.4.3

vim /etc/profile
向PATH追加
export PATH=.:$PATH:$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:

:wq

source /etc/profile
- Python(CentOS)
pip install pyspark
pip install py4j
2.Pycharm配置
- 配置Pycharm Deployment(必须是Professional版本)
1.选择菜单栏 Tools->Deployment->Configuration

在这里插入图片描述

2.配置服务器同步代码

在这里插入图片描述

在这里插入图片描述

- 配置Pycharm interpreter配置(不同的版本可能会有所差异)
1.选择菜单栏 (File->Settings)(Ctrl+Alt+S)->Project:项目名->Project Interpreter

在这里插入图片描述

2.ssh连接 无误后点击apply

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.实例代码

在这里插入图片描述

4.上传代码

在这里插入图片描述

5.运行

在这里插入图片描述

01 Pycharm连接服务器Python环境操作Spark
m0_59811476的博客
04-16 1031
添加SPARK_HOME 和 PYTHONPATH 环境变量。如图可自行选择项目的存放位置；Python解释器默认即可。使用hdfs命令将其上传至hdfs文件系统中。首先创建一个python项目。### 选择 onssh方式。选择ip地址和对应的用户名。一直下一步（next）即可。配置同步项目文件夹位置。统计文本各单词出现频率。
PyCharm远程连接Spark
ruth13156402807的博客
07-22 1786
PyCharm远程连接Spark 使用PyCharm连接远程服务器，总结一下完善的步骤。连接前一定要保证集群已经可以运行pyspark程序 1、添加SFTP连接 找到菜单Tool ->Deployment -> Configuration设置sftp 点击左上角的+号，添加新的SFTP连接 输入需要SFTP的名称， “testSpark” 注意，不要勾选Visible only for this project。根据自己的需求填写host、username、password，然后点击Tes
Pycharm通过SFTP远程连接Spark
博弈星宇
03-04 2267
参考：https://daniel.blog.youkuaiyun.com/article/details/107415130 1.添加SFTP连接 选择 Tools => Deploment => Configuration。 2. 在Deployment界面中，设置Connection、Mapping的配置。 Connection 配置： Mapping配置： 2.添加SSH Interpreter 3.Project Structure 4.启动设置 ...
Pycharm远程连接Spark（超详细图文教程）
a805814077的博客
07-17 9361
windowns本地Pycharm远程连接服务器上的Spark集群的超详细图文教程！！！
pycharm连接spark
weixin_71010295的博客
03-28 4108
pychrm连接spark
pycharm远程编译集群的spark程序
weixin_44298590的博客
11-09 269
下载专业版的pycharm 打开 settings->Deployment,点击**+** 选择SFTP 随便创建一个名字 填入远程机器的ip地址，然后测试连接 点击右下角的apply,和ok xuan 输入密码，点击Next 选择interperter,我的远程集群中同时安装了python2.7和python3.6，python代表的python2,python3才是Python3 完成后，点击右下角的finish ，我的./usr/bin/pyt..
pycharm利用pyspark远程连接spark集群
weixin_41512727的博客
08-29 9261
文章目录0 背景1 方法2 测试3 参考 0 背景 由于工作需要，利用spark完成机器学习。因此需要对spark集群进行操作。所以利用pycharm和pyspark远程连接spark集群。这里记录下遇到的问题及方法。 主要是参照下面的文献完成相应的内容，但是具体问题要具体分析。 1 方法 1.1 软件配置 spark2.3.3, hadoop2.6, python3 1.2 spark配置 Sp...
Pycharm连接远端Python环境操作Spark
weixin_37536020的博客
06-24 1887
远程连接方案, 允许程序员连接远端测试环境, 确保环境的统一, 避免各种环境问题的发生,而且由于是连接的远程环境, 所有在Pycharm编写的代码 都会自动上传到远端服务器, 在执行代码的时候, 相当于是直接在远端环境上运行。
pycharm远程连接spark的初始安装以及问题
weixin_43859562的博客
03-19 573
1.安装软件 1.在本机 Windows 安装 Anaconda。 安装 PyCharm professional。 2.再虚拟机搭建spark 2.配置pycharm 1.新建项目 2.开菜单"Tools -> Deployment -> Configuration…” 3.新建一个通过 SFTP 把本地文件远程发布到虚拟机的设置。 4.输入虚拟机的地址，用户名，密码 5.测试...
PyCharm+PySpark远程调试的环境配置的方法
09-19
今天小编就为大家分享一篇PyCharm+PySpark远程调试的环境配置的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python 调用spark
深海小黄鱼
01-23 6270
1. 下载安装 spark 2. 下载安装python 3. 创建环境变量 spark_home  D:\Spark\spark-2.0.1-bin-hadoop2.6 4. 将路径D:\Spark\spark-2.0.1-bin-hadoop2.6\python\pyspark加入环境变量 5. 将D:\Spark\spark-2.0.1-bin-hadoop2.6 下的pyspark
Windows Pycharm 远程 Spark 开发 PySpark
sleetdream的博客
11-23 715
Pycharm2024 远程开发方法
python组件调用spark组件开发
SuperMap技术控
09-02 941
作者：Neshoir       Spark框架支持多语言的开发环境，其中也包括python语言的spark开发。超图的iobjects for spark组件也同样提供了主流的scala及python语言环境的开发，产品包里的bdtpy就是iobjects for spark产品的python api，使用bdtpy可以基于spark分布式计算框架进行空间数据的处理和分...
在服务器后台运行python和spark程序
Buevara的博客
10-21 874
1. nohup 用途：不挂断地运行命令。 语法：nohup Command [ Arg … ] [　& ] 无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。 如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不...
PyCharm配置Spark开发环境
xiaocong1990的博客
12-20 5163
mac版 伪分布式 首先安装py4j 在 ~/.bash_profile 里添加: #Spark environment configs export SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.0/libexec export PATH=$PATH:${SPARK_HOME}/bin #Python environment con
python调用远程spark资源
qq_16734411的博客
10-24 3657
# -*- encoding: UTF-8 -*- # @auther:hx # @datetime:2018-03-01 from pyspark import SparkContext import os os.environ['HADOOP_HOME']='D:\\system\\hadoop-common-2.2.0-bin-master' os.environ['PYSPARK_PYT...
pycharm下与spark的交互 详细配置说明以及spark 运行简单例子
DayDayUp
12-29 1650
前提你本地的pyspark是可以运行的，如果有不明白的，可以看我的博客：https://blog.youkuaiyun.com/Lq_520/article/details/85323058 下面开始了，试了无数次才成功的： pycharm的安装，不会的可以看我的博客：https://blog.youkuaiyun.com/Lq_520/article/details/83584987 这样所有的安装配置都齐活了，开始在...
pycharm远程连接Linux pyspark
十色花的博客
08-26 2053
1、确保remote端Python、spark安装正确  设置必要的环境变量 2、本地Pycharm设置 File > Settings > Project Interpreter: Project Interpreter > Add remote（前提：remote端python安装成功）: 注意，这里的Python路径为python interpreter p...
PyCharm远程连接spark
最新发布
03-16
### PyCharm 远程连接 Spark 的配置方法 为了实现通过 PyCharm 对远程 Spark 集群的开发和调试，以下是详细的配置过程： #### 1. 添加 SFTP 连接 在 PyCharm 中设置文件同步功能以便于本地与远程服务器之间的代码传输。进入 `File | Settings | Tools | Deployment` 页面，点击加号创建一个新的 SFTP 连接[^1]。输入目标主机地址、端口以及登录凭证（用户名和密码），测试连接成功后保存。 #### 2. 映射远程路径至本地项目结构 完成上述步骤之后，在同一页面下的 “Mappings” 栏位里指定远程根目录对应到本地图形界面中的哪个位置。这一步骤对于保持工作区一致性非常重要[^3]。 #### 3. Python 解释器的选择与配置 打开 `File | Settings | Project: YourProjectName | Python Interpreter` 路径下的选项卡来更改当前项目的解释器环境。如果尚未存在可用的目标机器上安装好的 Python 版本，则需新增一个 Remote Interpreter 条目。具体操作为选择 SSH 并填写相应的 IP 地址/域名、SSH 用户名及私钥等认证资料；随后确认能够正常访问远端资源后再挑选合适的 Python 可执行文件作为默认解析引擎[^4]。 #### 4. 安装必要的依赖库 确保远程环境中已正确安装 Pyspark 和其他可能需要用到的相关包。可以通过 pip 或 conda 工具手动添加这些需求项或者利用 requirements.txt 文件批量处理[^2]。 #### 5. 编写并提交 Spark 应用程序 当一切准备就绪以后就可以开始编写自己的应用程序逻辑了。记得按照实际业务场景调整 spark-submit 参数比如 master URL (`local[*]`, `yarn-client`) 等信息以适配不同的运行模式。 ```python from pyspark.sql import SparkSession if __name__ == "__main__": spark = SparkSession.builder \ .appName("Example") \ .getOrCreate() df = spark.read.json("/path/to/json/files") # Perform transformations and actions on DataFrame here spark.stop() ``` 以上即完成了整个流程概述，请依据个人具体情况灵活运用各项设定！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值