pyspark 读写orc格式文件

最新推荐文章于 2024-09-09 08:58:31 发布

原创

最新推荐文章于 2024-09-09 08:58:31 发布 · 3.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

数据原始格式

# -*- coding: utf-8 -*-

from pyspark import SparkContext,SparkConf
from pyspark.sql import SparkSession, HiveContext
from pyspark.sql.types import *
from pyspark.sql import Row

# 自定义测试函数
def ceshi(score):
    if score<0.1:
        return 0.01
    else:
        return 100

# 保存文件前，先删除输出目录
def save_file(rdd, output_path):
    try:
        os.system('hdfs dfs -rm -r ' + output_path)
    except Exception as e:
         print(e)
    rdd.saveAsTextFile(output_path)

if __name__ == "__main__":
    conf = SparkConf().setMaster("yarn").setAppName("My App")
    sc = SparkContext(conf=conf)
    #spark = SparkSession.builder.config(conf=SparkConf()).getOrCreate()
    #spark = SparkSession.builder.config('spark.driver.memory', '2g').getOrCreate()
    spark = SparkSession.builder.enableHiveSupport().ge