pyspark之DataFrame写hive表方式

最新推荐文章于 2022-11-23 20:37:02 发布

SummerHmh

最新推荐文章于 2022-11-23 20:37:02 发布

阅读量9.8k

点赞数 1

分类专栏： SPARK

本文链接：https://blog.youkuaiyun.com/SummerHmh/article/details/103820628

版权

SPARK 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了PySpark如何将DataFrame写入Hive表，包括静态分区和动态分区的方法。静态分区需指定分区值，而动态分区会根据值自动分区，但效率较低。在动态分区模式下，`mode('overwrite')`可能仅追加数据，需要注意Spark版本差异。此外，`saveAsTable`创建的表默认为文本格式，可通过`format`设置格式。使用Spark SQL处理时，需先将DataFrame转换为临时表或视图，再执行插入数据的SQL语句。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近用spark写hive的过程中，遇到了一些问题，故此把这一块整理整理，供使用参考

spark 语句

hive中静态分区和动态分区的区别在于，静态分区是指定分区值，动态区分是根据值进行自动添加到对应的分区。后者在效率上会比较低，需要启动与分区数相同的数量的reducer

静态分区

df.write.mode('overwrite')\ 
.partitionBy("channel","event_day","event_hour")\  # 分区字段逗号分割，跟建表顺序一致   
.saveAsTable("table_name")  # 如果首次执行不存在这个表，会自动创建分区表，不指定分区即创建不带分区的表

动态分区

# 可动态分区设置
spark.sql("set hive.exec.dynamic.partition.mode=nonstrict;")
# df 按照字段+分区的顺序对应hive顺序
df.write\ 
.insertInto("table_name")  # 如果执行不存在这个表，会报错

用动态分区的方式，mode(‘overwrite’) 无效，只会追加，新版本会会支持覆盖方式，使用时注意版本

另外通过saveAsTable的方式建起来的表格式默认为文本格式，可以通过format指定所需格式

spark SQL 处理

方法

spark sql 指用sql的方式把spark dataframe写入hive表，步骤如下

df转为临时表或者临时视图
用spark.sql(""“插入数据的SQL语句”"")来执行

例子

# 创建spark session
spark = SparkSession.builder.appName(
     "test").enableHiveSupport().getOrCreate()
# df 转为临时表/临时视图
df.createOrReplaceTempView("df_tmp_view")
# spark.sql 插入hive
spark.sql(""insert overwrite table 
                    XXXXX  # 表名
                   partition(分区名称 =分区值)   # 多个分区按照逗号分开
                   select 
                   XXXXX  # 字段名称，跟hive字段顺序对应，不包含分区字段
                   from df_tmp_view""")