Spark RDD(DataFrame) 写入到HIVE的代码实现

最新推荐文章于 2025-06-27 17:48:45 发布
最新推荐文章于 2025-06-27 17:48:45 发布
阅读量2.2w 收藏 8
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark 大数据管理 Hive 文章标签： spark RDD Hive DataFrame
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sparkexpert/article/details/50964732
本文介绍如何将Spark中的RDD转换为SchemaRDD并注入到Hive表中，通过定义case class及使用两行关键代码实现数据迁移。文中还讨论了SQL语句的灵活性，包括新建表、写入特定分区等操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在实际工作中，经常会遇到这样的场景，想将计算得到的结果存储起来，而在Spark中，正常计算结果就是RDD。


而将RDD要实现注入到HIVE表中，是需要进行转化的。


关键的步骤，是将RDD转化为一个SchemaRDD，正常实现方式是定义一个case class.


然后，关键转化代码就两行。


data.toDF().registerTempTable("table1")  

sql("create table XXX as select * from table1")


而这里面，SQL语句是可以修改的，如写到某个分区，新建个表，选取其中几列等。


实现效果如图所示：



运行完成之后，可以进入HIVE查看效果，如表的字段，表的记录个数等。完胜。




spark scala 从零建一个dataframe然后写到hive
Love-Coding
04-20 339
sparkContext .parallelize(List("abc")) .toDF("the_column") .write.mode(SaveMode.Overwrite).saveAsTable("the_table")
scala写入mysql_spark rdd转dataframe 写入mysql的实例讲解
weixin_39841136的博客
12-24 565
dataframe是在spark1.3.0中推出的新的api，这让spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，据说计算性能更还快了两倍。spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作，对于熟悉sql的人来说在转换和过滤过程很方便，甚至可以有更高层次的应用，比如在实时这一块，传入kafka的topi...
spark写表指定外部表_spark 将dataframe数据写入Hive分区表
weixin_29147347的博客
01-30 1705
从spark1.2 到spark1.3，spark SQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。DataFrame将数据写入hive中时，默认的是hive默认数据库，insertInto没有指定数据库的参数，本文使用了下面方式将数据写入hive表或者hive表的分区中，仅供参考。1、将DataFra...
hive 分区表_Spark将Dataframe数据写入Hive分区表的方案
weixin_39734987的博客
12-01 1234
DataFrame 将数据写入hive中时，默认的是hive默认数据库,insert into没有指定数据库的参数，数据写入hive表或者hive表分区中：1、将DataFrame数据写入到hive表中从DataFrame类中可以看到与hive表有关的写入API有一下几个：registerTempTable(tableName:String):Unit,inserInto(tableNa...
Spark 写入hive表解析
最新发布
weixin_43839095的博客
06-27 891
摘要：FileOutputCommitter在Spark中提供v1和v2两种文件提交算法。v1版本采用两阶段提交（先写临时目录再移动），存在单线程瓶颈；v2版本直接写结果目录，效率更高但存在数据可见性问题。与Hive集成时，通过临时目录机制保证原子性，Hive采用多线程移动文件提升性能。建议生产环境使用v2算法，其整体流程更高效，特别是在Hive的多线程支持下能有效解决原子性问题，同时保持高性能。
sparkRDD转DataFrame写hive的坑
Sivan
06-05 709
在RDD使用schema和RDD的Row转成DataFrame再写到hive时，中间遇到一个坑， 我的写入代码是这样 // 创建schema val schema: types.StructType = StructType( Seq( StructField("capture_time",IntegerType,true), StructField("color_id",IntegerType,true), StructField("locati...
利用SparkSQL(java版)将离线数据或实时流数据写入hive的用法及坑点
weixin_30919919的博客
06-18 1158
1. 通常利用SparkSQL将离线或实时流数据的SparkRDD数据写入Hive,一般有两种方法。第一种是利用org.apache.spark.sql.types.StructType和org.apache.spark.sql.types.DataTypes来映射拆分RDD的值；第二种方法是利用rdd和Java bean来反射的机制。下面对两种方法做代码举例 2. 利用org.apache.sp...
Spark的DataFrame、RDD写入到HBase的方法（Scala）
恩特尔派
01-10 3189
一、使用DataFrame.saveAsHadoopDataset(conn)方法。 特点：适合做批量的写入。优点为批量写入方便快捷。缺点对于数据量大的DF写入速度太慢。 val conn = new JobConf(HBaseConfigurationcreate())//设置HBase连接 conn.set(,) conn.set(,)//设置Host和Port conn.set(TableO...
spark 1.3.0 将dataframe数据写入Hive分区表
mach_learn的专栏
04-03 7925
从spark1.2 到spark1.3，spark SQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。 DataFrame将数据写入hive中时，默认的是hive默认数据库，insertInto没有指定数据库的参数，本文使用了下面方式将数据写入hive表或者hive表的分区中，仅供参考。
SparkRDD 转存 HIVE
m0_38053092的博客
07-06 670
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.Optional; import org.apache.spark.sql.*; import o
spark 将dataframe数据写入Hive分区表
ChengYanan的博客
12-30 2250
1、将DataFrame数据写入到Hive表中 从DataFrame类中可以看到与hive表有关的写入Api有以下几个： registerTempTable(tableName: String): Unit， insertInto(tableName: String): Unit insertInto(tableName: String, overwrite: Boolean): Unit sav...
Spark 将DataFrame的数据写入Hive分区表
空藍性忘 的博客
12-25 2019
方法1 用 insertInto 该方法按照 df 中字段顺序确定字段与分区字段，与 df 的列名无关 mode(“overwrite”)：新数据以覆盖方式写入原有分区（其它分区不受影响） mode(“append”)：新数据以追加方式写入原有分区 val df: DataFrame = ... // 开启 Hive 表动态分区 spark.sql("set hive.exec.dynamic.partition=true") spark.sql("set hive.exec.dynamic.partit
spark dataframe写入hive、hdfs、es、oracle
weixin_53099973的博客
08-31 2522
1.写入hive的指定分区中写入数据 ResulToOra2.createTempView("tmp") spark.sql( s""" |insert overwrite table pdr.T_PSSC_TRAN_PORTRAIT_CENTER partition(dt='${sdfDay.format(date)}') select * from tmp | """.stripMargin) pr
Hive：Spark中如何实现将rdd结果插入到hive1.3.0表中
weixin_30242907的博客
11-20 443
DataFrame写入hive API： registerTempTable函数是创建spark临时表 insertInto函数是向表中写入数据，可以看出此函数不能指定数据库和分区等信息，不可以直接进行写入。 向hive数据仓库写入数据必须指定数据库，hive数据表建立可以在hive上建立，或者使用hiveContext.sql（“create table ...."） ...
Spark读写Hive
qq_42260493的博客
12-13 1602
使用Spark读写分布式数据仓库Hive
spark读取数据写入hive数据表
wangwangstone的博客
02-01 6257
pyspark 从已有数据表读取数据写入目标hive表的代码模板
spark写入hive表问题
qq_42265026的博客
04-09 513
cluster模式不支持shell，所以当执行到System.exit(0)，程序开始报错，然后集群会按照yarn设定好的AM重启次数（在CDH的yarn配置板块中搜索application即可看到次数设置），重新运行，而且如果程序没有错的话，结果就没有错，这样就很难发现错误了。RowFactory.create(Object[]),传入object数组，所以可以将rdd中的数据，不管是字符串，还是json，先转换成Object数组，根本原因是将 httpclient。
在spark中将数据插入HIVE表
weixin_43668299的博客
12-29 3605
在spark中将数据插入HIVE表 用spark导入到HIVE中效率较高 1 创建数据集的spark D啊他Frames: TmpDF=spark.createDataFrame(RDD,schema) 这里schema是由StructFied函数定义的 2 将数据集的DataFrames格式映射到...
spark使用rdd查询hive表数据
03-13
<think>好的，我需要回答用户关于如何使用Spark RDD查询Hive表数据的问题。首先，我得回忆一下Spark和Hive的集成方式。用户提到他们看到引用中提到Spark SQL可以直接查询Hive，但用户特别想用RDD操作。通常来说，直接使用RDD操作Hive表可能不是最直接的方法，因为Spark SQL更常用，但可能用户有特殊需求。 接下来，我需要检查用户提供的引用内容。引用2指出，Spark需要Hive的依赖包来读写Hive数据，并且这些依赖必须分发到各个节点。引用3中的示例是使用Spark SQL来查询Hive表，而用户想要的是RDD的方式。引用5是关于Spark RDD的讲解，可能没有直接提到Hive，但可能涉及如何将数据转换为RDD。 可能的思路是：首先通过Spark SQL读取Hive表的数据，然后将其转换为RDD进行操作。这样结合了SQL的便利和RDD的灵活性。需要确保Hive的配置正确，比如设置Hive的metastore地址，添加必要的依赖。 然后，我需要构造一个步骤说明。第一步是配置环境，包括依赖和初始化SparkSession，启用Hive支持。第二步是用Spark SQL读取数据为DataFrame，然后转换为RDD。第三步是对RDD进行操作，比如map、filter等。最后可能需要将结果写回Hive，这时候又需要转换回DataFrame。 同时，需要注意用户可能遇到的问题，比如依赖缺失，或者配置不正确导致无法连接到Hive metastore。还需要提到不同的部署模式（如YARN或local）可能影响配置方式。 最后，生成相关问题，可能涉及RDD与DataFrame的区别，性能优化，或者直接使用RDD处理Hive数据的其他方法。</think>### 如何使用 Spark RDD 查询 Hive 表数据 #### 1. 环境配置与依赖 Spark 访问 Hive 表需满足以下条件： - **Hive 依赖**：在 Spark 的 `spark/conf` 中添加 Hive 的配置文件（如 `hive-site.xml`），并将 Hive 的依赖包（如 `hive-exec.jar`）添加到 Spark 的 `CLASSPATH` 中[^2]。 - **初始化 SparkSession**：需启用 Hive 支持以访问 Hive 元数据。 ```scala val spark = SparkSession.builder() .appName("HiveWithRDD") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") .enableHiveSupport() .getOrCreate() ``` #### 2. 通过 Spark SQL 读取 Hive 表为 RDD 直接通过 RDD 操作 Hive 表需**间接转换**： - **步骤 1**：使用 Spark SQL 读取 Hive 表为 DataFrame。 ```scala val df = spark.sql("SELECT * FROM database.table") ``` - **步骤 2**：将 DataFrame 转换为 RDD。 ```scala val rdd = df.rdd ``` #### 3. 操作 RDD 数据 可对 RDD 执行标准转换和行动操作： ```scala // 示例：过滤年龄大于 30 的记录 val filteredRDD = rdd.filter(row => row.getAs[Int]("age") > 30) // 示例：将数据映射为键值对 val mappedRDD = rdd.map(row => (row.getAs[String]("name"), row.getAs[Int]("age"))) ``` #### 4. 结果写回 Hive（可选） 若需将处理结果保存回 Hive： ```scala // 将 RDD 转为 DataFrame val resultDF = spark.createDataFrame(filteredRDD, df.schema) // 写入 Hive 表 resultDF.write.mode("overwrite").saveAsTable("database.new_table") ``` #### 完整代码示例（Scala） ```scala import org.apache.spark.sql.SparkSession object HiveRDDExample { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("HiveWithRDD") .enableHiveSupport() .getOrCreate() // 读取 Hive 表 val df = spark.sql("SELECT * FROM test.employee") val rdd = df.rdd // RDD 操作：过滤工资大于 5000 的记录 val filteredRDD = rdd.filter(row => row.getAs[Double]("salary") > 5000) // 结果写回 Hive val resultDF = spark.createDataFrame(filteredRDD, df.schema) resultDF.write.mode("overwrite").saveAsTable("test.high_salary_employees") } } ``` #### 注意事项 - **序列化问题**：RDD 操作需确保数据类型可序列化。 - **性能对比**：直接使用 Spark SQL 通常比 RDD 操作更高效[^5]。 - **元数据同步**：若 Hive 表结构变更，需重新获取 Schema。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值