解压parquet格式文件到text

最新推荐文章于 2025-04-25 13:18:33 发布

最新推荐文章于 2025-04-25 13:18:33 发布 · 3.3k 阅读

文章标签：

#java #大数据

parquet 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了使用Spark Python API和Hive SQL两种方式将Parquet文件转换为CSV格式的方法。第一种方法通过Python脚本利用PySpark进行转换，并指定了字段分隔符；第二种方法通过HQL查询直接从Parquet表中提取数据并写入CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

方法一：spark python实现

import sys
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext

inputpath=sys.argv[1]
outputpath=sys.argv[2]
sc = SparkContext(appName="Transform Pq to Csv")
sqlContext = SQLContext(sc)
df = sqlContext.read.parquet(inputpath)
df.select('*').save(outputpath,"com.databricks.spark.csv",delimiter='\001')

run：spark-submit --packages com.databricks:spark-csv_2.10:1.2.0 --master yarn-client read_pq.py /tmp/xing/20161115/1049 /tmp/xing/20161115/text/1049

方法二：如果是parquet表里的数据，可以通过hql查询得到数据

insert overwrite (local) inpath outputpath

select * from table1_parquet;