spark提交python脚本并传参

最新推荐文章于 2025-06-24 16:30:27 发布

置顶张小竟

最新推荐文章于 2025-06-24 16:30:27 发布

阅读量8.6k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： java Python 文章标签： spark python json 传参

本文链接：https://blog.youkuaiyun.com/zhanglu1236789/article/details/84106668

java 同时被 2 个专栏收录

60 篇文章

订阅专栏

Python

10 篇文章

订阅专栏

本文详细介绍了一种使用Python脚本通过Spark集群访问Hive的方法。脚本接收JSON参数，利用SparkContext和HiveContext执行SQL查询，从Hive中获取数据并展示结果。文章深入解析了spark-submit命令配置及Python脚本实现细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

脚本命令这里第一个参数是python脚本名称，第二个参数是json

spark-submit  --master yarn --deploy-mode cluster --num-executors 20 --executor-memory 8g --executor-cores 2 --conf spark.yarn.executor.memoryoverhead=4096 $1.py $2

python 脚本此脚本获取json传参并调用spark集群访问hive

from pyspark import SparkContext,SparkConf
import sys
conf = SparkConf().setAppName("lx1")
sc = SparkContext(conf=conf)

from pyspark.sql import HiveContext
import pandas as pd
sqlContext = HiveContext(sc)
import sys
print ('*********************************************')
#print (sys.argv[1])
import json
dt =sys.argv[1]+'}}'
print(dt)
#json.loads(dt)

data = sqlContext.sql("select area_no,ord from bcc.area")
print(data.columns)
print ('*********************************************')
#print ('jb', sys.argv[0])
for i in range(1, len(sys.argv)):
    print ("cs", i, sys.argv[i])
print('**********************************************')

data.show()