Pipe in PySpark

xc_torres

于 2017-07-05 11:48:07 发布

阅读量952

点赞数

分类专栏： spark python 文章标签： python spark

本文链接：https://blog.youkuaiyun.com/u010793236/article/details/74393408

版权

spark 同时被 2 个专栏收录

4 篇文章

订阅专栏

python

3 篇文章

订阅专栏

本文介绍了如何在PySpark中使用pipe方法将RDD数据传递给外部进程，如cat命令，并详细展示了相关的python代码示例和YARN集群上的任务提交过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官网的文档声明，pipe管道将pyspark的RDD对象fork给外部进程，然后再返回RDD对象

>>> sc.parallelize(['1', '2', '', '3']).pipe('cat').collect()
[u'1', u'2', u'', u'3']

python代码如下，外部进程为cat命令

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
import os
from pyspark import SparkContext
from pyspark import SparkConf

if __name__ == '__main__':
    sc = SparkContext()
    data  = ["hi","hello","how","are","you"]
    dataRDD = sc.parallelize(data)
    pipeRDD = dataRDD.pipe('cat').collect()
    print pipeRDD