hive建表导入数据，用hive查询表无数据，而用persto查询有数据

最新推荐文章于 2023-12-29 21:06:36 发布

原创

最新推荐文章于 2023-12-29 21:06:36 发布 · 1.8k 阅读

3 ·

CC 4.0 BY-SA版权

博客讲述了在Hive与Presto中查询同一表数据不一致的问题，原因是Hive的Tez引擎在`INSERT UNION`操作时进行了优化，导致输出在多个子目录中。当使用MR引擎时，无法读取这些数据。解决方案包括统一使用MR引擎进行写入操作或使用`DISTRIBUTE BY`打散数据。

先看代码

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.execution.engine=tez;

insert overwrite table dwd_data.dwd_table  partition(dt)

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

meavoChen

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【记录】flink读取hive，只能读取表结构，无法读取数据

遇事不决问春风

11-26

2101

2020-11-26 10:31:31,611 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - The Flink YARN session cluster has been started in detached mode. In order to stop Flink gracefully, use the following command: $ echo “stop” | ./bin/yarn-sessi

HDFS数据块损坏导致的Hive数据查询失败案例

weixin_46325773的博客

10-11

2245

hdfs块损坏导致hive执行查询、删除问题时报错。问题1：hive中无法查询表中的数据信息，但是可以展示表结构等信息。在hive中建立表，显示表信息均显示成功，部分信息如下：展示表成功： show tables; 展示表属性成功： describe test; 插入表数据失败： insert into test values("hello"); 查询的时候也报错,报错信息如下所示： select* from test; 这可是真的奇怪，冷静下来想想，查看了最开始插入语句的错误信息，发现

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

wanghai159 2023.03.24
您给了两种不错的解决方法，但请问在presto中如何将另一个数据库select的结果存到hive中的某张表中？

presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat

06-15

1227

om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage

Presto查询Hive无数据解决方法

百看不如一RUN

01-26

2495

1、是否使用了TEZ引擎 2、是否配置好了presto 如果是TEZ引擎，则加上一条配置即可在hive.properties中增加 hive.recursive-directories=true

hive将查询数据插入表中某字段无数据

weixin_45732391的博客

10-25

1579

hive将查询数据插入表中某字段无数据今天将查询的数据插入表中时发现 entrystationid 为null，一开始以为是没有查到该字段值，执行查询语句时发现该字段有值，后来以为是字段名有问题，经过查看字段名正确，试了几次发现查询出来的字段类型为string，而建表时该字段是int类型，所以字段类型不一致导致数据没有插入进去。结论：字段类型不一致导致数据插入失败。 ...

精选资源

mysql数据抽取，自动生成hive建表语句

03-11

而Hive则是一种基于Hadoop的数据仓库工具，它提供了SQL-like的查询语言（HQL）来处理分布式存储的大规模数据集。在实际业务中，将MySQL中的数据迁移到Hive进行分析和挖掘是一个常见的需求。本教程主要围绕“mysql...

Mysql元数据如何生成Hive建表语句注释脚本详解

09-09

总的来说，通过查询MySQL的元数据并进行适当的转换，我们可以生成Hive的建表语句，确保在Hive中重建的数据表与原MySQL表结构一致，同时保留了字段注释，从而提高数据管理和使用的便利性。对于其他类型的关系型数据库...

Hive如何建表+导入数据+导出大文件

lz_N_one的博客

07-25

1796

如果数据量很大，达到几百万，而且需要传输，一般将数据文件处理成一个大文件，方便传输后，对方进行数据处理INSERTOVERWRITEDIRECTORY表示重写目录，重写后源数据被覆盖。partitioned表示分区，数据量不大、无区域数据调整的情况下，一般不用分区。对于1万行以内的数据，我们常可以通过select直接获取，用excel进行分析。（1）注意数据的格式，最常见的为将含中文的文件保存为utf-8格式；都能将对应的partition数据文件删除。3.2将临时表数据存入一个特定的目录下。...

精选资源

spark或mr引擎插入的数据，hive表查询数据为0

最新发布

02-28

其中一种常见的问题是，在使用Spark或MR引擎对Hive表进行数据插入后，通过Hive查询这些数据时，结果却显示为0条记录。具体表现为用户反馈在使用Tez引擎查询时可以得到正确结果，但在使用Spark-SQL查询同一张表时却...

hive 表新增字段后更新分区无法显示数据

weixin_34203426的博客

01-18

576

解决方案： 1、删除分区后重新跑数据 alter table drop partition(分区字段=“”)； 2、新增字段运行程序后其实数据已经有了，只是查询hive的时候无法显示出来，这个时候只要刷新一下表结构就出来了 ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...])；转载于:https://w...

hive add columns后新插入列数据为空，但是用presto查询的时候却有数据

qq_32273965的博客

06-22

899

hive在新加列(add columns)后，再load数据时，理论上来说新增的列如果有数据的话会展示出来；解决办法：方法一：重建分区方法二：手动更新元数据 ----在元数据库里执行如下语句 1、select CD_ID from SDS where LOCATION=‘hdfs://ods.db/tablename’; -------查找表对应的CD_ID 2、SELECT * FROM SDS WHERE LOCATION LIKE ‘hdfs://bidc/ods.db/tablname/

hive往分区表里插入数据之后查不到_Hive入门实战（三）DML数据操作

weixin_32042331的博客

01-31

3680

一、Hive数据操作---DML数据操作1、数据导入第一种方式：向表中装载数据（Load）//语法 hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)];load data:表示加载数据local:表...

hive select * 没有查询到数据

wb453178064的博客

08-25

5964

由于我建立的是外部表打开hadoop的时候不知道出于原因namenode起不来了然后将namenode格式化以后登上发现是外部文件内容丢失了导致了数据表查询成功但是却没有数据将文件重新上传一份就能查到数据了

Hive删除有分区的外部表，重新插入，查询不到数据

m0_63246205的博客

12-29

827

我建了一个外部表，并且在创建表时设置了分区，当我把这个外部表删除后，重新建一模一样的表，却查询不到数据。（按理说，删除外部表，不会删除数据的，怎么会查不到数据呢）

踩坑实录Hive中select * 没有数据，而select count(*)有数据

chimchim66的博客

05-27

2607

目录背景问题定位原因1.压缩导致解决方案原因2.分区文件location不一致导致解决方案原因3.元数据未更新解决方案背景 hdfs文件有数据，Hive中select * 没有数据，而select count(*)有数据问题定位原因1.压缩导致表结构未压缩，数据压缩了，select查询与表结构有关系解决方案使用select时指定与数据一致的压缩方法就可以查询出来压缩过的收据了 SET hive.exec.compress.output=

【hive】表中的数据全为NULL

可乐大牛的博客

02-16

1232

问题描述通过Sqoop将mysql的数据导入hive，查看数据是正确的，但是select语句查出来都是NULL，仔细观察才发现建表的时候指定的分隔符和Sqoop导入时候参数给的不一致问题解决将两者改为一致即可分别是建表时候的 hive的row format delimited fields terminated by 和 Sqoop的fields-terminated-by CREATE EXTERNAL TABLE ods_order ( `id` BIGINT, `account_id` BIG

CDH 集群Impala-Shell 获取不到数据及相关问题

Nice的博客

05-11

1349

错误描述：在CDH 界面安装Impala 服务之后，进入到服务器的Impala-shell中运行查询语句获取不到数据控制台运行查询打印信息如下： [hddatanode02:21000] test> select * from test.ods_cdp_data_explore; Query: select * from test.ods_cdp_data_explore Query submitted at: 2021-05-11 12:37:59 (Coordinator: http://hdd

oracle 视图创建索引_Hive表分区与索引

weixin_39622150的博客

11-19

314

hive表分区表分区是指将数据按照物理分层的方式进行区分开，加快查询的速度，同时也起到数据快照的作用！创建分区表的关键字：partitioned by ，可以指定单个字段也可以指定多个字段； partitioned by (dt String,country string); create table pt_test(ts bigint,line string) partitioned by ...

导入hive表数据为空问题解决

weixin_43870699的博客

12-29

3613

一、现象（1）在本地运行hql时，数据可以正常插入，执行hql文件时，数据插入表时，查不到数据。（2）使用TEZ引擎时，hql执行不通过，报错；使用MR运行时，可以通过，但是无数据输出。二、排查经过排查，发现sql中有一个三个表union all的语句，只要一执行到这个语句，数据就会为空，hql如下： select group_id,uid,day from ods.tmp union all s...