spark2写orc方法总结

最新推荐文章于 2025-11-13 07:10:44 发布
原创 最新推荐文章于 2025-11-13 07:10:44 发布 · 3.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文介绍了如何使用 Apache Spark 对 ORC 文件进行操作，包括写入分区表、直接写入 ORC 文件以及注册临时表的方法。 
sdf.write.format("orc").mode("overwrite").saveAsTable("dev.astron_spark_test_result")

分区表写法
直接写orc文件
sdf.write.format(“orc”).mode(“overwrite”).orc(“dev.astron_spark_test_result”)

注册临时表
spark.sql(insert into)

Spark数据压缩：ORC、Parquet、Avro格式对比
AI天才研究院
05-04 1151
随着大数据技术的普及，PB级数据存储与计算成为常态。Spark作为主流的分布式计算引擎，其存储层的优化对整体性能至关重要。列式存储为何能提升Spark计算效率？三种格式的压缩算法如何影响存储成本与查询性能？模式演变（Schema Evolution）场景下哪种格式更灵活？如何根据业务需求选择最优存储格式？核心概念：解析三种格式的存储架构与设计理念算法原理：对比压缩编码策略与列式存储优化技术数学模型：量化压缩率、存储成本与查询性能的关系。
Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优
u014034497的专栏
10-29 3284
默认情况下因此，默认情况下，切片大小=blocksize。因为一般文件的block大小为128M, 是小于mapreduce.input.fileinputformat.split.maxsize默认值的根据orc文件的stripe，结合参数配置，最终生成split结论：因此使用能够控制生成split个数，进而控制读取的map task数量以下为设置为"67108864"时，spark sql 读取orc文件的示意图。
26. Spark DataFrame写入Hive Orc 分区表
元元的李树专栏
11-11 2971
26. Spark DataFrame写入Hive Orc 分区表 分区表建立过程不过多演示，只给出写入hive表的过程。 //方法一： addStgCompanyDF.write.partitionBy("dt").mode(SaveMode.Overwrite).orc("hdfs://XXXX/apps/hive/warehouse/XXXX.db/XXXXX/") //方法二： ...
Spark 指定分区数、文件并行读写、Spark IO读写常用处理方法
Toby的博客
04-13 9878
一、小文件治理 之合并分区数 1、配置spark.sql.shuffle.partitions，适用场景spark.sql()合并分区 spark.conf.set("spark.sql.shuffle.partitions", 5) #后面的数字是你希望的分区数 这样配置后，通过spark.sql()执行后写出的数据分区数就是你要求的个数，如这里5。 2、配置coalesce(n)，适用场景spark写出数据到指定路径下合并分区 df = spark.sql(sql_string).co..
突破单节点瓶颈：基于Spark的分布式OCR处理方案设计与实现
最新发布
gitblog_00405的博客
11-13 561
在当今大数据时代，**OCR技术**在处理海量文档图像时面临着单节点性能瓶颈的挑战。Python Tesseract作为优秀的**光学字符识别**工具，虽然功能强大，但在大规模处理场景下需要分布式计算框架的支持。本文将为您介绍如何基于Apache Spark构建高效的**分布式OCR处理**方案，实现海量图像文本识别的水平扩展。🚀 ## 为什么需要分布式OCR处理？ 传统的单机OCR处理在面
Pyspark读写csv,txt,json,xlsx,xml,avro等文件
qq_56870570的博客
09-27 2679
Spark读写txt文件 Spark读写csv文件 Spark读写parquet文件 Spark读写json文件 Spark读写excel文件 Spark读写xml文件 Spark读写orc文件 Spark读写avro文件 Spark读写mysql中的表
Spark-SQL 读写Orc 文件
m0_46538284的博客
01-04 3509
读文件 import org.apache.spark.sql.{DataFrame, SparkSession} //通过csv文件创建DataFrame object CreateDataFrameFromOrc { def main(args: Array[String]): Unit = { //创建SparkSession(是对SparkContext的包装和增强) val spark: SparkSession = SparkSession.builder()..
spark 读取orc文件
热门推荐
iture的博客
09-17 1万+
<dependency> <groupId>org.apache.orc</groupId> <artifactId>orc-mapreduce</artifactId> <version>1.1.0</version>
Spark生产优化总结
04-27
Spark 生产优化总结 Spark 生产优化是企业中 Spark 作业的调优的总结，涉及 Spark 任务的详细解释、调度、资源分配等多方面的内容。本文将从三个方向考虑 Spark 生产优化：磁盘存储、CPU cores 和内存。 磁盘存储...
精选资源
spark或mr引擎插入的数据，hive表查询数据为0
02-28
- 第一个参数用于禁用自动转换Metastore中的Orc文件，第二个参数则确保Spark-SQL能够递归地读取子目录中的数据。 #### 总结 通过上述分析可以看出，对于“Spark或MR引擎插入的数据，Hive表查询数据为0”的问题，...
Spark SQL 编程总结
weixin_43520450的博客
09-14 1656
SparkSQL 编程一、SparkSession 新的起始点二、DataFrame2.1 创建2.2 SQL 风格语法(主要)2.3 DSL 风格语法(次要)2.4 RDD 转换为 DateFrame2.5 DateFrame 转换为 RDD三、DataSet3.1 创建3.2 RDD 转换为 DataSet3.3 DataSet 转换为 RDD四、DataFrame 与 DataSet 的互操作4.1 DataFrame 转 Dataset4.2 Dataset 转 DataFrame五、RDD、Dat
SparkSQL并发写入orc、parquet表的异常问题排查
u013332124的专栏
10-29 1万+
文章目录一、问题描述二、Hive 执行overwrite语句时没有删除旧数据的原因三、SparkSQL 失败的原因四、解决方案1、排查过程2、解决方案3、spark.sql.hive.convertInsertingPartitionedTable参数的作用 一、问题描述 有业务反馈某张表的分区下有重复数据，该分区数据的写入任务之前曾用sparkSQL执行过，跑失败了后切换成Hive执行成功了。看了下该分区对应的目录，发现目录下同时存在sparkSQL和Hive SQL生成的文件（也就是Hive任务执行时未
pyspark 读写orc格式文件
MusicDancing的博客
09-18 3175
数据原始格式 # -*- coding: utf-8 -*- import sys import os from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession, HiveContext from pyspark.sql.types import * from pyspark.sql import Row reload(sys) sys.setdefaultencoding("ut..
Spark集群升级之后，以orc格式写hdfs文件，再导入Hive表字段为null的问题
dreamBoat的博客
05-13 1102
spark集群升级之后，以orc格式写hdfs文件之后，导入hive表有部分字段为null的bug。hadoop 2.7.2 -->3.1.1;hive 1.2.1 -->3.1.0；spark 2.1.0 -->2.3.2
Spark性能调优2-总结分享
weixin_34324081的博客
11-13 153
2019独角兽企业重金招聘Python工程师标准>>> ...
从零开始学React Native之数据持久化存储
wang_gwei的博客
01-30 1912
数据持久化就是指应用程序将某些数据存储在手机存储空间中。 AsyncStorage API RN框架为开发者提供了 AsyncStorage API，开发者可以利用它将任意“字符串键值对”保存到存储空间中。 它是简单的，异步的。用它可以取代Android的sharedperference和ios的NSUserDefault。 AsyncStorage存储的数据对该RN应用全局都是可
spark ORC原理
u010990043的博客
09-25 7054
orc历史   ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。 orc结构–----hdfs上的物理视图    orc结构----逻辑视图 orc存储结构解析     orc文件有如下结构快：b...
SPARK-SQL 读取外部数据源 orc文件的读写
小哇
08-10 2120
相关的资源文件地址 链接：https://pan.baidu.com/s/1QGQIrVwg56g9eF16ERSLwQ 提取码：7v8n orc文件读写示例 import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SaveMode; import org.apache.spark.sql.SparkSession; public class OrcFil
spark读写hive分区表
10-16
<think>我们已有关于Spark读写Hive表的通用方法，现在用户明确要求读写Hive分区表的方法。 根据引用[3]、[4]、[5]以及之前的知识，读写Hive分区表的关键点包括： 1. 创建分区表（定义分区字段和存储格式） 2. 写入时指定分区字段（动态分区或静态分区） 3. 读取时利用分区剪枝提高性能 参考引用[4]中的代码片段，它展示了如何创建一个分区表并插入数据（使用静态分区）： - 创建表时使用`partitioned by`指定分区字段 - 插入数据时在`insert`语句中指定分区值（静态分区） 引用[3]提到了在查询分区表时如何正确处理NULL值。 引用[5]提到使用`saveAsTable`时配合`partitionBy`可能会遇到问题（不生成ORC文件），因此需要注意存储格式和配置。 下面将详细说明读写Hive分区表的方法。 ### Spark读写Hive分区表的方法 #### 1. 创建分区表 在Spark中创建Hive分区表，可以使用Spark SQL的`CREATE TABLE`语句，并指定分区字段和存储格式。 示例（参考引用[4]）： ```scala val createTableSql = """ |CREATE TABLE IF NOT EXISTS person ( | id STRING, | age INT |) |PARTITIONED BY (birthDay INT) |STORED AS PARQUET """.stripMargin spark.sql(createTableSql) ``` 关键点： - `PARTITIONED BY`指定分区字段（注意：分区字段不能出现在表字段中，因为它们是同一列，但分区字段会作为目录存储） - 存储格式（如`STORED AS PARQUET`）可根据需要选择（ORC、TEXTFILE等） #### 2. 写入分区表 写入分区表有两种方式：静态分区和动态分区。 **方式一：静态分区（指定分区值）** 在插入数据时，明确指定分区字段的值。适用于已知分区值的情况。 示例（参考引用[4]）： ```scala val insertSql = s""" |INSERT OVERWRITE TABLE person PARTITION (birthDay=$birthDay) |SELECT id, age |FROM person_record """.stripMargin spark.sql(insertSql) ``` **方式二：动态分区（自动根据数据设置分区）** 动态分区会根据数据中的分区字段自动创建分区。需要先设置动态分区相关的配置。 示例代码： ```scala // 启用动态分区并设置相关配置 spark.conf.set("hive.exec.dynamic.partition", "true") spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict") // 假设df包含分区字段birthDay，且已注册为临时表 // 或者直接使用DataFrame API写入 df.write .partitionBy("birthDay") // 指定分区字段 .mode(SaveMode.Append) // 追加模式 .format("hive") // 指定格式为hive .saveAsTable("person") // 表名 // 或者使用SQL方式（推荐） df.createOrReplaceTempView("temp_person") spark.sql(""" INSERT OVERWRITE TABLE person PARTITION (birthDay) SELECT id, age, birthDay FROM temp_person """) ``` 注意： - 动态分区的字段必须在SELECT子句的最后，且与分区字段的顺序一致（如果是多个分区字段，则按顺序排列）。 - 使用动态分区前，需要设置`hive.exec.dynamic.partition`和`hive.exec.dynamic.partition.mode`（通常设为`nonstrict`，否则必须指定至少一个静态分区）。 **写入模式**： - `SaveMode.Overwrite`：覆盖整个表或指定分区（注意：在动态分区时，会覆盖所有匹配的分区，而静态分区则只覆盖指定分区） - `SaveMode.Append`：追加数据 引用[5]中提到，使用`saveAsTable`并配合`partitionBy`时，可能不会在HDFS中生成ORC文件。因此，建议在保存后检查HDFS目录，确保数据写入正确。或者使用SQL语句插入更可靠。 #### 3. 读取分区表 读取分区表与读取普通表相同，但可以利用分区剪枝提高性能。 示例： ```scala // 直接读取整个表 val df = spark.sql("SELECT * FROM person") // 读取特定分区（利用分区剪枝） val dfWithPartition = spark.sql("SELECT * FROM person WHERE birthDay=20190919") ``` 分区剪枝（Partition Pruning）是Spark优化查询的一种方式，当WHERE子句包含分区字段的条件时，Spark只会读取相应分区的数据，从而提高效率。 引用[3]中提到，当分区字段包含NULL值时，查询条件`WHERE city is NULL`在Spark3中可以正确执行（无论`spark.sql.hive.convertMetastoreOrc`配置如何），但在Spark2中需要依赖该配置。因此，在处理NULL分区值时需注意Spark版本。 #### 4. 注意事项 - **分区字段类型**：分区字段在表中是虚拟列，其实际值由目录名称决定（字符串）。因此，在查询时，分区字段的条件应与目录名称的类型匹配（通常为字符串）。但若在创建表时指定了分区字段的类型（如INT），则可以使用对应类型。 - **分区表的数据存储**：每个分区在HDFS中是一个单独的目录（如`/user/hive/warehouse/person/birthDay=20190919`）。 - **动态分区的限制**：动态分区可能会创建大量分区，因此需要合理配置，避免超出Hive的默认限制（如每个节点创建的最大动态分区数`hive.exec.max.dynamic.partitions.pernode`）。 - **存储格式**：创建表时指定的存储格式应与写入数据的格式一致，否则可能导致读取失败。 ### 代码示例：完整读写Hive分区表 以下示例展示从旧表读取数据，处理后写入分区表（使用动态分区）： ```scala import org.apache.spark.sql.{SaveMode, SparkSession} object HivePartitionTableExample { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("HivePartitionTableExample") .master("local[*]") .enableHiveSupport() // 启用Hive支持 .getOrCreate() // 设置动态分区属性 spark.conf.set("hive.exec.dynamic.partition", "true") spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict") try { // 读取源表（假设源表有id, age, birthDay字段） val sourceDF = spark.sql("SELECT id, age, birthDay FROM person_record") // 创建分区表（如果不存在） spark.sql(""" CREATE TABLE IF NOT EXISTS person ( id STRING, age INT ) PARTITIONED BY (birthDay INT) STORED AS PARQUET """) // 写入分区表（动态分区） sourceDF.write .partitionBy("birthDay") .mode(SaveMode.Overwrite) .saveAsTable("person") // 验证：读取特定分区 spark.sql("SELECT * FROM person WHERE birthDay=20190919").show() } finally { spark.stop() } } } ``` ### 总结 - **创建分区表**：使用`CREATE TABLE ... PARTITIONED BY ...`语句。 - **写入分区**：可选择静态分区（明确指定值）或动态分区（自动推断），注意动态分区的配置。 - **读取分区**：使用普通查询，但WHERE子句包含分区字段可触发分区剪枝优化。 - **版本兼容性**：Spark3对Hive分区表的支持更好（尤其是处理NULL值）[^3]。 如果遇到写入问题（如未生成文件），建议检查HDFS目录权限和存储格式配置，或改用SQL插入语句。 §§相关问题§§ 1. 如何设置Spark动态分区参数以避免创建过多分区？ 2. Spark读取Hive分区表时如何利用分区剪枝提高性能？ 3. 如何处理Hive分区表中的NULL值分区？ </think>### Spark读写Hive分区表的方法 在Spark中高效操作Hive分区表需要注意分区创建、读写优化和配置管理。以下是关键步骤和最佳实践，结合引用内容整理： --- #### 1. **创建分区表** 使用`PARTITIONED BY`定义分区字段，并指定存储格式（推荐Parquet/ORC）： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("HivePartitionTable") .enableHiveSupport() // 启用Hive集成[^1] .getOrCreate() // 创建分区表（birthDay为分区字段） spark.sql(""" CREATE TABLE IF NOT EXISTS person ( id STRING, age INT ) PARTITIONED BY (birthDay INT) STORED AS PARQUET // 指定列式存储格式[^2] """) ``` **关键点**： - 分区字段需独立于数据字段（如`birthDay`未在表结构中重复定义）[^4] - `STORED AS PARQUET/ORC`优化存储和查询性能[^2] --- #### 2. **写入分区表** ##### (1) 静态分区写入（明确指定分区值） ```scala val insertSql = s""" INSERT OVERWRITE TABLE person PARTITION(birthDay=20190919) SELECT id, age FROM person_record """ spark.sql(insertSql) // 直接执行SQL插入[^4] ``` ##### (2) 动态分区写入（自动匹配分区字段） ```scala // 启用动态分区配置 spark.conf.set("hive.exec.dynamic.partition", "true") spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict") // DataFrame API写入 sourceDF.write .partitionBy("birthDay") // 指定分区字段[^5] .mode("overwrite") // 覆盖模式 .saveAsTable("person") // 自动创建分区 ``` **注意事项**： - 动态分区需设置`hive.exec.dynamic.partition.mode=nonstrict`[^5] - 分区字段必须在DataFrame最后一列（与表定义顺序一致） --- #### 3. **读取分区表** 利用分区剪枝（Partition Pruning）提升查询性能： ```scala // 直接读取全表 val fullDF = spark.table("person") // 分区剪枝查询（只扫描特定分区） val filteredDF = spark.sql("SELECT * FROM person WHERE birthDay=20190919") // 处理NULL分区（Spark 3+支持） spark.sql("SELECT * FROM partitioned_table WHERE city IS NULL") // 有效查询[^3] ``` **优化建议**： - 查询时用`WHERE`过滤分区字段，减少I/O - Spark 3+默认支持`NULL`分区查询，Spark 2需设置`spark.sql.hive.convertMetastoreOrc=true`[^3] --- #### 4. **注意事项与故障处理** | **问题** | **解决方案** | |-------------------------|----------------------------------------------------------------------------| | 动态分区未生成文件 | 检查HDFS权限，确保`saveAsTable`前配置存储格式（如`.format("parquet")`）[^5] | | 分区字段顺序错误 | 确保DataFrame列顺序：数据字段在前，分区字段在后 | | 分区数超限 | 设置参数：`spark.conf.set("hive.exec.max.dynamic.partitions", 10000)` | | 读取性能低 | 使用列式存储（Parquet/ORC），并启用谓词下推[^2] | --- #### 5. **完整示例** ```scala // 读取源表 val sourceDF = spark.table("person_record") // 写入动态分区表 sourceDF.write .partitionBy("birthDay") .mode("append") // 避免覆盖 .saveAsTable("person") // 验证分区写入 spark.sql("SHOW PARTITIONS person").show() ``` --- ### 总结 - **创建分区表**：明确分区字段和存储格式（Parquet/ORC） - **写入优化**：静态分区简单直接，动态分区需配置参数 - **读取加速**：通过`WHERE`条件实现分区剪枝 - **NULL处理**：Spark 3+直接支持`IS NULL`查询[^3] - **数据保护**：写入模式优先用`append`避免误覆盖
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值