Spark.saveAsTable读不到Hive动态增加字段

最新推荐文章于 2022-07-13 10:45:53 发布
最新推荐文章于 2022-07-13 10:45:53 发布
阅读量1.9k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据库 文章标签： Hive Impala impala refresh Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/believe__dream/article/details/89854191
当使用Spark动态增加Hive字段并写入数据时，导致Hive和Impala元数据不一致，影响数据同步。初步解决方案涉及查找和更新Hive元数据表，而最终解决方案是通过删除特定元数据字段并指定`format="hive"`来解决字段丢失问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

描述

  在程序中使用alter方式动态增加Hive的字段，但是Hive字段增加之后，使用Spark向Hive写数据，此时修改了Hive元数据表中的table属性，使得Hive和Impala两边的元数据不一致，然后新增的数据 就没有办法同步到Impala中。

初步解决方案

在服务器中通过 hive-site.xml Hive配置，找到元数据的存储地址。

<!-- ConnectionUserName 是元数据存储的实例的用户名 -->
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value
最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据领域 Hive 与 Spark 的集成应用
AI天才研究院
05-10 1031
随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。
Spark操作Hive表幂等性探索
SunnyRivers
08-11 1150
旁边的实习生一边敲着键盘一边很不开心的说：做数据开发真麻烦，数据bug排查太繁琐了，我今天数据跑的有问题，等我处理完问题重新跑了代码，发现报表的数据很多重复，准备全部删了重新跑。我：你的数据操作具备幂等性吗？实习生：啥事幂等性？数仓中的表还要考虑幂等性吗？
HIve修改字段或者增加字段后，Spark访问不生效问题
BackToMe的博客
05-28 2832
问题重现（例） 当我将数据存储格式改变，或者增加一列的时候，我习惯使用了alter table add …来实现 原来的表： ALTER TABLE test ADD COLUMNS (weight STRING) CASCADE 加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore），我用spark向表插入一个带有weight字段的表，此时抛出异常 Exception in thread "main" org.apache.spark.sql.AnalysisEx
SparkSQL优化分析--saveAsTable
大怀特的博客
03-04 2997
文章目录问题点:优化点: 环境 spark2.4.8 on yarn(hadoop2.4.5) 优化后 package com.bl.bigdata.cdp.execservice.service.batch.schedule.common import com.bl.bigdata.cdp.execservice._ import com.bl.bigdata.cdp.execservice.utils.business.TableUtils import com.bl.bigdata.cdp.ex
Spark：用saveAsTable保存为hive默认纯文本文件
weixin_33804990的博客
01-03 942
spark中Dataset的的saveAsTable方法可以把数据持久化到hive中，其默认是用parquet格式保存数据文件的，若是想让其保存为其他格式，可以用format方法配置。 如若想保存的数据文件格式为hive默认的纯文本文件： df.write.mode(SaveMode.Append).format("hive").saveAsTabl...
如何解决Sparksession/HiveContext访问不到Hive表中新插入的记录, 或者元数据不一致的问题
Lestat.Z.的博客
04-14 2900
问题描述 在做某个POC项目的测试时候，先pyspark2界面count表A一共有3条，在另一个界面用beeline往这种表插入一条数据，然后继续在beeline中count，此时显示总数为4，插入正常。但是回到pyspark2的界面执行sql语句时候，发现还是3条。 原因 首先看下以下几个知识点： Hive Metastore 当使用enableHiveSupport创建SparkSession...
spark+hive运行时没有写权限
yangbosos的博客
04-22 2163
当使用spark连接hive时，无论是通过spark-submit提交作业，还是使用spark-shell,spark-sql 都会报以下错误： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS sho...
spark把kafka数据写到hive
Sivan
06-05 3947
写入分区表： 准备工作：先建好分区表 方法一：（使用dataframe） 写数据到数据所在的位置，因为hive分区的本质就是分文件夹，先用spark把数据写到文件夹位置，然后执行sql添加分区 1.写数据到文件夹 //df为DataFrame df.write.mode(SaveMode.Overwrite).format("parquet") .partitionBy("day" , "dev_platform" ).save(outputPath) 2.寻找刚刚数据新建的.
Spark - saveAsTable + rename = 坑
写虫师的博客
05-19 1399
目录 一、背景 二、环境及测试场景 ①、环境 ②、测试场景 三、复现历程 ①、场景探索 ②、测试用例（写数据） 1. rename表（hive引擎） 2. 观察rename后表结构 3. 记录下rename后的目录状态 4. jar包 insertInto写入第二批数据 ③、测试用例（读数据） 1. hive引擎读新路径(location)的旧数据 2. spark引擎读旧路径(path)的新数据 四、隐患 ①、隐患：数据写入和查询混乱 ②、隐患：数据管理和治理困难 五、修正方案............
Sentry ： Spark-sql 读取hive数据 权限问题
jast
08-12 3187
经测试Spark-sql 只支持Sentry表、库权限，不支持Sentry 对Hive列权限读的控制，设置列权限读，Spark-sql是无权限读取的 对hive表某一列有读权限设置 代码如下，jast_column用户有对hive表test的s2列读权限，这里使用spark1.6举例 val conf = new SparkConf().setAppName("test") va...
关于spark on hive 执行建表语句出现的用户权限问题 `Permission denied: user=PC, access=WRITE, inode=“/“:root:supergroup
qq_42392337的博客
08-03 850
关于spark on hive 执行建表语句出现的用户权限问题 Permission denied: user=PC, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方法 在代码开头设置参数:System.setProperty("HADOOP_USER_NAME","root")即可 以root角色访问hdfs目录 System.setProperty("HADOOP_USER_NAME","root") val spark: Spar
spark：sparksql：通用的数据 加载/保存功能
不花的花和尚的博客
08-01 401
Spark SQL 的数据源------通用的数据 加载/保存功能 Spark SQL支持通过DataFrame接口在各种数据源上进行操作。DataFrame可以使用关系变换进行操作，也可以用来创建临时视图。将DataFrame 注册为临时视图允许您对其数据运行SQL查询。本节介绍使用Spark Data Sources加载和保存数据的一般方法，然后介绍可用于内置数据源的特定选项。 1， 常用的加载和保存功能。 最简单的形式，默认的数据源（parquet除非...
记 hive增加字段不完全生效
yisun123456的博客
10-27 676
使用公司内部中控平台，对已有hive在最后位置增加一个字段，hive文件格式是parquet，增加的字段类型是array<string>。 通过spark读取文件，确定已经写入新增的字段值。 通过中控平台上的hivesql查询，该字段一直是空null。 通过中控平台上的sparksql查询，报错（之前的数据不存在）。 解决办法： 1.删掉该新增字段，发现中控平台报错不了。放弃 2.对刚才写入的分区，删掉并重建该分区。（外部表）。问题解决。 坑。。。。 ...
Spark DataFrame中insertInto()与saveAsTable()区别及动态分区插入hive表使用设置
热门推荐
GSpinach的博客
04-28 1万+
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言insertInto()saveAsTable()动态分区参数设置动态分区代码实现 前言 在spark应用开发中，会经常需要将数据清洗后的结果，插入HIVE表中。而针对数据落表，官方提供了几种插入方式，具体有insertInto，saveAsTable，调用spark sql。下面我们一一讲解他们的区别。 insertInto() 保存DataFra
spark saveAsTable 太慢
Love-Coding
01-17 1464
前面有个join， 可能是join的两边重复的key太多了。
Hive新增/变更字段后，Hive metastore与Hive tblproperties缓存的spark schema不一致处理
mypowerhere的专栏
07-13 1716
Hive新增/变更字段后，Hive metastore与Hive tblproperties缓存的spark schema不一致处理
spark sql中createOrReplaceTempView，saveAsTable，spark.sql(Create table..)创建的表的区别
hongqiutiandi163的博客
09-30 9167
我们在spark sql中可能遇到createOrReplaceTempView，saveAsTable，spark.sql(Create table..)三种创建表的方式，那么这三种方式有什么区别吗？同时，我们也会遇到多张表进行join的sql，这些sql很难跑出结果，我们有什么办法能够较为轻松的跑出结果呢？
hadoop,hbase,hive,spark遇到无权限问题Permission denied: user=root, access=WRITE解决
陈小哥cw
12-10 1978
在hadoop,hbase,hive执行某些命令时,可能遇到以下问题 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 这是因为root用户没有相应权限导致的 解决方法有以下几种 1.第一种解决方案 在hdfs上/user目录下创建root目录,需要在HDFS上有一个用户主目录...
0510-Spark应用访问Hive报错异常分析
Hadoop_SC的博客
12-24 842
1 故障描述 运行环境说明 1.RedHat7.2 2.CM和CDH版本为5.15.0 3.Spark1.6 问题现象 在代码中使用HiveContext对象访问Hive表ods_user（该表为Parquet格式）时发现作业报错，异常如下： Exception in thread "main" org.spark-project.guava.util.concurrent.Uncheck...
scala> import org.apache.spark.sql.SaveMode import org.apache.spark.sql.SaveMode scala> scala> val data_new = spark.sqlContext.read.table("ad_traffic.case_data_sample").drop("mac").drop("creativeid").drop("mobile_os").drop("mobile_type").drop("app_key_md5").drop("app_name_md5").drop("os_type") data_new: org.apache.spark.sql.DataFrame = [rank: int, dt: int ... 13 more fields] scala> scala> data_new.write.mode(SaveMode.Overwrite).saveAsTable("ad_traffic.case_data_sample_new") 25/06/19 16:56:18 INFO SQLStdHiveAccessController: Created SQLStdHiveAccessController for session context : HiveAuthzSessionContext [sessionString=89a732c1-8cbd-46c2-b098-a685b1902353, clientType=HIVECLI] 25/06/19 16:56:18 WARN SessionState: METASTORE_FILTER_HOOK will be ignored, since hive.security.authorization.manager is set to instance of HiveAuthorizerFactory. 25/06/19 16:56:18 INFO metastore: Mestastore configuration hive.metastore.filter.hook changed from org.apache.hadoop.hive.metastore.DefaultMetaStoreFilterHookImpl to org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook 25/06/19 16:56:18 INFO metastore: Closed a connection to metastore, current connections: 0 25/06/19 16:56:18 INFO metastore: Trying to connect to metastore with URI thrift://master1:9083 25/06/19 16:56:18 INFO metastore: Opened a connection to metastore, current connections: 1 25/06/19 16:56:18 INFO metastore: Connected to metastore. 25/06/19 16:56:18 INFO metastore: Trying to connect to metastore with URI thrift://master1:9083 25/06/19 16:56:18 INFO metastore: Opened a connection to metastore, current connections: 2 25/06/19 16:56:18 INFO metastore: Connected to metastore. scala> select * from ad_traffic.case_data_sample_new limit 3; <console>:1: error: ';' expected but '.' found. select * from ad_traffic.case_data_sample_new limit 3
最新发布
06-21
我们正在处理一个ScalaSparkSQL语法错误：'error:';'expectedbut'.'found'。这个错误通常表示在代码中某个地方，Scala编译器期望看到一个分号（;），但却遇到了一个点号（.）。在Scala中，分号通常是可选的，因为换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值