PySpark 实战只模式 local standalone模式下的pyspark和spark-submit 和 yarn模式

伟伟哦

已于 2023-06-12 18:00:23 修改

阅读量1.7k

点赞数

分类专栏： Spark/openTSDB 文章标签： nginx spark yarn

于 2019-10-25 21:08:07 首次发布

本文链接：https://blog.youkuaiyun.com/u012164509/article/details/102466574

版权

本文介绍了PySpark在Local模式、Standalone模式和Yarn模式下的使用，包括启动集群、配置slaves文件、提交作业等步骤，并强调了在不同模式下需要注意的事项，如在standalone模式下保证每个节点都有本地测试文件，在Yarn模式下设置环境变量等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PySpark 实战只模式 local standalone模式下的pyspark和spark-submit 和 yarn模式

清除防火墙
一、Local模式:
二、standalone模式下的pyspark
- 第一步启动你集群
- 第二步骤在启动一个从节点
三、standalonem模式spark-submit运行
四、standalonem yarn

清除防火墙

[root@hadoop000 python]# systemctl stop firewalld.service
[root@hadoop000 python]# systemctl disable firewalld.service

[root@hadoop000 conf]# vim ~/.bash_profile

export JAVA_HOME=/root/app/jdk1.8.0_211
export PATH=$JAVA_HOME/bin:$PATH

export SCALA_HOME=/root/app/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH

export MAVEN_HOME=/root/app/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH

export PATH=/root/app/python3/bin:$PATH
export PYSPARK_PYTHON=python3

export SPARK_HOME=/root/app/spark-2.3.0-bin-2.6.0-cdh5.7.0
export PATH=$SPARK_HOME/bin:$PATH

export HIVE_HOME=/root/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH

[root@hadoop000 conf]# source ~/.bash_profile

一、Local模式:

开发

http://spark.apache.org/docs/latest/submitting-applications.html

简单的集群管理，自带的

–master
–name
–py-files

#ni.txt

nihao   woqu    nihao
hello   welcome
woqu    hahah

#spark0406.py

import sys

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':

    if len(sys.argv) != 3:
        print("Usage: wordcount <input> <output>", file=sys.stderr)
        sys.exit(-1)

    conf = SparkConf()
    sc = SparkContext(conf=conf)

    def printResult():
        counts = sc.textFile