python调用远程spark资源

最新推荐文章于 2025-07-11 16:56:51 发布

原创

最新推荐文章于 2025-07-11 16:56:51 发布 · 置顶 · 3.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #spark

本文介绍了如何使用Python语言调用并操作远程Spark集群资源，通过实例展示了连接过程和基本操作，帮助开发者实现高效的数据处理任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- encoding: UTF-8 -*-
# @auther:hx
# @datetime:2018-03-01
from pyspark import SparkContext
import os
os.environ['HADOOP_HOME']='D:\\system\\hadoop-common-2.2.0-bin-master'
os.environ['PYSPARK_PYTHON'] = '/opt/anaconda34/bin/python'
os.environ['PYSPARK_DRIVER_PYTHON']='/opt/anaconda34/bin/python'

from pyspark import SparkConf
conf = SparkConf().setMaster("spark://192.168.0.130:7077").setAppName("Fisrt") \
        .set("spark.num.executors", "1")\
        .set("spark.executor.cores", "2")\
        .set("spark.executor.memory", "600m")\
        .set("spark.driver.memory", "600m")
sc = SparkContext(conf=conf)

logData = sc.textFile("hdfs://hx:9000/data/a.txt").cache()
numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()
print("Lines with a: %i, lines with b: %i"%(numAs, numBs))
sc.stop()

#注意：要求windows下的python版本和远程linux下的python版本需要一致

输