RDD数据计算map方法

map算子:
功能map算子,是将RDD数据一条条处理(处理逻辑基于map算子中接收的处理函数),返回新的RDD:rdd.map(func)

from  pyspark import SparkConf , SparkContext
import os
os.environ['PYSPARK_PYTHON'] = "D://python3.8/python.exe" #pyspark在python的解释器在哪

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc =  SparkContext(conf = conf)

#准备一个RDD
rdd = sc.parallelize([1,2,3,4,5])

#计算
#(T)—> u  其中(T)表示传入参数鉴定,表示接受一个传入参数的函数,-u表示返回值

def func(data):
    return data*10

rdd2 =  rdd.map(func)
print(rdd2.collect())

sc.stop()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是两三杯可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值