基于YARN集群构建运行PySpark Application

最新推荐文章于 2024-11-06 10:29:18 发布
最新推荐文章于 2024-11-06 10:29:18 发布
阅读量3.9k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/op07p6Aaqo9u71/article/details/78295801
本文详细介绍了如何在YARN集群上构建和运行PySpark Application，包括client模式和cluster模式的区别，以及如何处理PySpark的Python环境。在client模式下，Driver在提交节点运行，而cluster模式下所有进程都在YARN节点上。文章提供了在YARN集群配置Python环境和不配置Python环境的两种方案，并探讨了混合编程语言环境下的应用设计。对于大规模的PySpark应用，建议在整个集群中安装Python环境，而对于不希望在集群中安装Python环境的情况，可以通过打包Python环境并随应用提交。文章还提到了未来可能的优化解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据

作者：Yanjun

Spark Application可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapReduc程序，可以运行HBase集群，也可以运行Storm集群，还可以运行使用Python开发机器学习应用程序，等等。

我们知道，Spark on YARN又分为client模式和cluster模式：在client模式下，Spark Application运行的Driver会在提交程序的节点上，而该节点可能是YARN集群内部节点，也可能不是，一般来说提交Spark Application的客户端节点不是YARN集群内部的节点，那么在客户端节点上可以根据自己的需要安装各种需要的软件和环境，以支撑Spark Application正常运行。在cluster模式下，Spark Application运行时的所有进程都在YARN集群的NodeManager节点上，而且具体在哪些NodeManager上运行是由YARN的调度策略所决定的。

对比这两种模式，最关键的是Spark Application运行时Driver所在的节点不同，而且，如果想要对Driver所在节点的运行环境进行配置，区别很大，但这对于PySpark Application运行来说是非常关键的。

PySpark是Spark为使用Python程序编写Spark Application而实现的客户端库，通过PySpark也可以编写Spark Application并在Spark集群上运行。Python具有非常丰富的科学计算、机器学习处理库，如numpy、pandas、scipy等等。为了能够充分利用这些高效的Python模块，很多机器学习程序都会使用Python实现，同时也希望

最低0.47元/天 解锁文章

200万优质内容无限畅学
36大数据
关注
pyspark on yarn 配置
weixin_44725721的博客
10-25 938
pyspark on yarn 在pycharm上执行出现以下问题：解决方案：在程序最前面添加如下程序。
spark使用独立的Python环境提交任务
wang_306的专栏
07-30 5924
背景 由于需要在公司的大数据平台上使用自己的Python环境，折腾了很久，特此记录 先说几个坑： 需要注意版本，不同的spark版本会有些不同，当前我的spark版本是2.2.1，如果以下的方式不生效，记得先看看版本； 由于公司平台的环境是离线的，pip down下载的包是需要和硬件架构匹配的，我在mac上pip down的包拿到Linux下是无法正常安装的，建议看一下这篇文章的介绍：htt...
使用Python开发spark
qq_47844519的博客
07-06 5597
spark
有关python numpy pandas scipy 等 能在YARN集群上 运行PySpark
weixin_34319999的博客
03-14 458
有关这个问题，似乎这个在某些时候，用python写好，且spark没有响应的算法支持， 能否能在YARN集群上 运行PySpark方式， 将python分析程序提交上去？       Spark Application可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapRed...
spark的学习之路：pyspark的本地运行以及在YARN的运行
xiameimei_win的博客
03-29 5930
一、本地运行 pyspark --master local[N] local[N] 代表在本地运行，N的值代表同时执行N个程序 （1）查看当前的运行模式：sc.master （2）读取本地文件，路径之前加上“file：” testFile = sc.textFile('file:/usr/local/spark/README.md') （3）显示项数 testFil...
以集群方式运行pyspark
私奔在线
05-21 2821
一、背景说明 　　单机执行pyspark（python on spark）非常简单，只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境，再通过python3命令执行就完了。 　　而想将python提交到spark集群中运行，则有两种方法，一种是在每个spark结点上部署python环境，在spark低版本与python集成没那么完善的时候，集群结点数又不多的情况下，的确可以这么干（实际上我就这么干过），这种方式比较大的优势是每次执行pyspark任务时，不用分发python环
解决pyspark问题：在spark中使用集群未安装的python第三方库
玉米大人的博客
01-05 4954
解决pyspark问题：在集群中使用cluster模式，引入python复杂第三方库 问题：在工作中，使用spark-summit部署python第三方库保存的xgboost模型（单机库模型，非xgboost-4j），运行出错，ImportError: No module name xxxx。使用第三方库有：pandas、numpy、xgboost。因为没有集群权限，模型安装流程复杂，尝试自己探索解决，看了国内外很多帖子，大致有3种情况： 单一文件 自建模块 或python简单第三方库（不含.so文.
【Spark】Spark 运行架构--YARN-Client
w1992wishes的博客
04-11 449
本篇结构： 运行流程图 运行步骤 运行启动类图 运行实现原理 运行作业调用图 一、运行流程图 二、运行步骤 启动运用程序，main 函数方法中会启动 SparkContext，在 SparkContext 启动过程，会构建 DAGScheduler，利用反射构建 YarnScheduler（TaskScheduler）和 YarnClientSchedulerBackend（Schedul...
Spark 程序开发与提交：本地与集群模式全解析
天冬忘忧的博客
11-06 1695
本文将深入探讨 Spark 程序在本地开发并远程提交到集群测试的过程，以及使用 spark - submit 脚本在集群模式下提交程序的相关知识，包括参数配置、运行模式等内容。
PySpark｜在 yarn 集群运行 pyspark 任务的方法
长行
07-22 447
Spark 3.5.1 中Spark 2.3.0 中。
Linux下远程连接Jupyter+pyspark部署教程
09-15
主要为大家详细介绍了Linux下远程连接Jupyter+pyspark部署教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
PySpark yarn优化以及使用(依赖解决、python虚拟环境使用)————附带解释和代码
韩江雪de 小屋
02-21 3448
文章目录1 spark yarn的常见模式以及区分1.1 模式1.2 使用2 yarn模式下的自编写包依赖解决2.1 准备知识2.2 使用3 yarn模式下的jar包依赖解决3.1 spark运行时需要的包3.2 非spark运行时必要的包附录 1 spark yarn的常见模式以及区分 1.1 模式 1，client 提交方式： –master yarn –deploy-mode client 特点： 1，driver运行在提交作业的机器上(可以看到程序打印日志)； 2，cluster
PySpark实战（五）——PySpark ETL实战（包括数据的抽取、转换、加载及numpy、matplotlib、pandas的综合使用）
Stack It Up
03-24 2410
ETL是指 Extract、Transfrom 和 Load 的简称。用来描述将数据从数据源经过抽取、转换、加载至终端的一系列处理过程。
1. 运行pyspark
ant的博客
01-07 7988
spark有三种运行方式: 1. 本地运行spark （单机，学习、测试用） 2. yarn运行spark （集群，主要使用） 3. spark standalone运行spark （集群不常用） 在没有hadoop的情况下实现多台计算机并行计算，需要配置，不介绍   安装好spark后 在终端输入pyspark可以进入shell命令行，（此时就是本地模式） 就可以输入python...
为pyspark中的python安装numpy、py4j模块
ringsuling的博客
09-14 5869
Python3.6.5中并没有实现安装好numpy跟py4j的包，但是这两个包是pyspark以及其中的MLlib运行必不可少的模块，因此需要为pyspark使用的Python3.6.5安装模块包。 环境： Python3.6.5 Spark1.6.3 hadoop2.6.4 centos6.8 步骤： 1.下载numpy跟py4j的安装包，https://pypi.org/proj...
集群上如何跑pyspark程序--Running Spark Python Applications
遥望......
10-07 2145
Running Spark Python Applications Accessing Spark with Java and Scala offers many advantages: platform independence by running inside the JVM, self-contained packaging of code and its dependencies in...
PySpark on Yarn 的 Python 环境与包依赖解决方式
weixin_34409703的博客
09-01 1792
2019独角兽企业重金招聘Python工程师标准>>> ...
PySpark大数据分析(8)：PySpark机器学习库
唐犁的博客
05-26 520
{}{}{}{}
Spark - OnYARN 模式搭建，并使用 Scala、Java、Python 三种语言测试
小毕超博客
12-04 1615
安装前需要提前安装好 环境，关于 和 集群的搭建可以参考下面我的博客：下面是我 的安装结构开始前请确保 已经成功启动起来。准备一台服务器，可以和 装在一台机子上，下面有需要读取 的配置，如果是台纯净的服务，需要将 的配置文件放上去。Yarn 需要配置历史服务器，如果没有配置通过修改下面文件开启：修改 Hadoop 安装目录 文件： 添加下面配置： 该需要同步到集群的其他节点： 重启 集群： 下载 安装包，这里我用的 版本：先将下载后的安装包上传至 节点，解压安装包： 进入到加压目录
yarn application example for python
最新发布
03-25
### Python YARN 应用程序示例 在 Hadoop 的生态系统中，YARN 是一种资源管理框架，允许不同的分布式计算框架共享同一集群中的资源。对于基于 Python 开发的应用程序来说，可以通过 `pyarrow` 或者直接利用 Spark 提交机制来实现与 YARN 的交互。 以下是几个常见的 Python 编写的 YARN 应用程序示例： #### 示例 1: 使用 PySpark 提交给 YARN 运行 PySpark 可以轻松地将 Python 脚本提交到 YARN 上运行。以下是一个简单的 Word Count 实现并将其部署至 YARN: ```python from pyspark import SparkConf, SparkContext if __name__ == "__main__": conf = SparkConf().setAppName("WordCountApp").setMaster("yarn") \ .set("spark.executor.instances", "3") \ .set("spark.executor.memory", "2g") \ .set("spark.executor.cores", "2") sc = SparkContext(conf=conf) text_file = sc.textFile("hdfs:///input.txt") counts = text_file.flatMap(lambda line: line.split()) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) counts.saveAsTextFile("hdfs:///output_word_count") ``` 此脚本通过设置 `setMaster("yarn")` 将应用提交到 YARN 并分配必要的资源配置[^1]。 要运行上述代码，可以使用如下命令： ```bash spark-submit --master yarn --deploy-mode cluster word_count.py ``` --- #### 示例 2: 使用 pyflink 提交 Flink Job 到 YARN Flink 支持通过 Python API (`pyflink`) 来编写数据处理逻辑并将作业提交到 YARN 执行。下面展示了一个基本的批处理任务例子： ```python from pyflink.datastream import StreamExecutionEnvironment from pyflink.table import StreamTableEnvironment, EnvironmentSettings def main(): env = StreamExecutionEnvironment.get_execution_environment() settings = EnvironmentSettings.new_instance()\ .in_streaming_mode()\ .use_blink_planner()\ .build() t_env = StreamTableEnvironment.create(env, settings) # 设置默认并行度 t_env.get_config().get_configuration().set_string("parallelism.default", "3") source_ddl = """ CREATE TABLE input_table ( id BIGINT, data STRING ) WITH ( 'connector' = 'filesystem', 'path' = 'hdfs:///input_data/', 'format' = 'csv' ) """ sink_ddl = """ CREATE TABLE output_table ( id BIGINT, processed_data STRING ) WITH ( 'connector' = 'filesystem', 'path' = 'hdfs:///processed_output/', 'format' = 'csv' ) """ t_env.execute_sql(source_ddl) t_env.execute_sql(sink_ddl) t_env.from_path("input_table") \ .select("id, LOWER(data) as processed_data") \ .insert_into("output_table") t_env.execute("Process Data with Flink on YARN") if __name__ == '__main__': main() ``` 该脚本可通过以下命令提交到 YARN: ```bash ./bin/flink run-application -t yarn-application \ -Dparallelism.default=3 \ -Djobmanager.memory.process.size=1024m \ -Dtaskmanager.memory.process.size=1024m \ -Dyarn.application.name="MyFlinkJob" \ -Dtaskmanager.numberOfTaskSlots=3 \ /examples/batch/your_python_script.py ``` --- #### 示例 3: 自定义 Python YARN Client 如果需要完全控制 YARN 集群上的任务调度过程，也可以开发自定义的 Python 客户端。这通常涉及使用 RESTful 接口或者 Apache Slider 工具包。例如，创建一个简单的 HTTP 请求向 YARN ResourceManager 发送请求： ```python import requests import json def submit_yarn_job(app_name, queue_name, container_memory): url = "http://<resourcemanager-host>:8088/ws/v1/cluster/apps/new-application" response = requests.post(url) app_id = response.json()["application-id"] submission_url = f"http://<resourcemanager-host>:8088/ws/v1/cluster/apps" job_spec = { "application-id": app_id, "application-name": app_name, "queue": queue_name, "am-container-spec": { "commands": {"command": "/usr/bin/python your_script.py"}, "local-resources": {}, "environment": {} }, "max-app-attempts": 2, "resource": {"memory": str(container_memory), "vCores": 1}, "unmanaged-AM": False } headers = {'Content-Type': 'application/json'} res = requests.put(submission_url, data=json.dumps(job_spec), headers=headers) return res.status_code, res.text status, message = submit_yarn_job("TestPythonApp", "default", 512) print(f"Submission Status: {status}, Message: {message}") ``` 注意：以上方法依赖于具体环境配置以及 ResourceManager 是否开放了 WebService 接口[^4]。 --- #### 注意事项 - 当前大多数场景下推荐优先考虑使用成熟的框架如 Spark 或 Flink，它们已经内置良好的支持用于简化复杂操作。 - 如果采用原生方式构建 Python-YARN 应用，则需额外关注兼容性和错误恢复等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值