HIVE分区表插入数据SQL

最新推荐文章于 2024-08-14 02:13:38 发布
原创 最新推荐文章于 2024-08-14 02:13:38 发布 · 826 阅读 · 0 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许可以转载。
文章标签：

#sql

本文探讨了如何使用SQL进行数据插入与覆盖，并展示了在大数据环境下执行查询的基本示例。内容涉及分区表的操作以及对查询结果的要求，适合对大数据处理和SQL有一定了解的读者深入学习。


with a as 
(select * from xxx)

insert overwrite table dwd_oa_col_summary partition(dt='$do_day') 

select  1,2,3; --查询的值和表字段数量一致就行

小白篇(六)：大数据Hive介绍和使用
belialxing的专栏
11-08 454
原文地址： https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484012&idx=1&sn=2cd8534c40ee4ce7bc4232dcccefd12c&chksm=97ae9b4aa0d9125c41eb22a923a50f4e016c138d68f31e20a0992ad2ca46ba00e0eb09bd2373&token=1189979899&lang=zh_CN#rd .
hive分区表插入/导入数据
ChengYanan的博客
01-12 1万+
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区. 1. hive建立分区表 create external table if not exists tablename( a string, b string) partitioned by (year string,month string) row format deli
插入Hive表数据SQL
weixin_40340935的博客
08-14 615
插入Hive表数据SQL在Hive中，我们经常需要将数据插入到表中以便进行查询和分析。本文将介绍如何使用SQL语句向Hive表中插入数据，以及一些常见的插入数据操作。1. 创建Hive表首先，我们需要创建一个Hive表来存储数据。下面是一个创建表的示例SQL语句：登录后复制 sqlCopy code CREATE TAB...
MySQL分表及分表后插入sql
04-04
MySQL分表及分表后插入sql语句，表为订单表，可以参考一下
Hive SQL-DML-insert插入数据
喻师傅的学习笔记
05-08 2334
insert
hive插入多条数据sql_30分钟入门 Hive SQL（HQL 入门篇）
weixin_32516005的博客
01-27 1780
Hive SQL 几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到 Hive 优化问题的经历。所以掌握扎实的 HQL 基础尤为重要，既能帮分析师在日常工作中“如鱼得水”提高效率，也能在跳槽时获得一份更好的工作 offer。本篇为 Hive 入门篇，主要为 Hive SQL 基础语法介绍，文章争取做到言简意赅，让大家 30 分钟入门 HQL。文中视角多处 HQL 对比 ...
Hive使用动态分区插入数据
m0_57468722的博客
10-23 2072
往hive分区表中插入数据时，如果一张表的数据量非常大，需要按照日期分区，且将指定日期的数据插入到对应分区，如果使用进来分区一天一天的手工输入，效率极低，故hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 假如有两张表临时表 trade_detail_his 和目标表Historical 表 create table Historical (Id...
Hive 分区表添加数据语句
pxl20171799的博客
11-24 1841
Hive分区表添加数据报分区错误
HiveSQL分区的作用及创建分区表案例演示(图解)_hive 动态分区sql(4)
2401_84186067的博客
05-14 1092
partitioned by (role string comment ‘角色字段-充当分区字段’) – 核心细节: 分区字段必须是表中没有的字段.partitioned by (role string comment ‘角色字段-充当分区字段’) – 核心细节: 分区字段必须是表中没有的字段.由于建表时增加一个role的分区字段,所以总共有9个普通字段和1个分区字段,所以插入数据时select语句中需要单独加上一个分区字段。role_main string comment ‘主要定位’,
hive根据分区动态插入数据 动态分区 hive表数据迁移
zhen_hero的博客
11-11 2339
今天需要将一个分区表的数据（A）迁移到另一张表(B)，两个表的字段不完全一样，但是分区一样,要求迁入到B表后，原来的数据还在原来的分区里，和原来一一对应，表结构如下： A:B: A表的分区： 由于分区比较多，一个分区一个分区迁肯定不现实，所以需要用到动态分区 下面是迁移sql: set hive.exec.dynamic.partition=true; --开启动态分区 set hive.exec.dynamic.partition.mode=nonstrict;--允许...
hive插入多条数据sql_Hive的SQL操作
weixin_39893205的博客
12-21 4307
1、分区表1)创建分区表hive> create table dept_partitions()> partition by()> row format> delimited fields> terminated by '';例：hive> create table dept_partitions(deptno int, dept string, loc str...
hive操作
anqi3776的博客
11-29 386
CREATE TEMPORARY 临时表 查询表结构 show table extended like ‘pdw_j03_ld_pkg_dim_columnset’ 1.hive模糊搜索表 show tables like ‘name’; 2.查看表结构信息 desc table_name; desc table_name; 3.查看分区信息 show partitions pdw_j03_ld_pkg_a062; 4.根据分区查询数据 select table_coulm from table_name
mysql 指南_MySQL-快速指南
cunzai1985的博客
09-23 1886
mysql 指南 MySQL-快速指南 (MySQL - Quick Guide) Advertisements 广告 Previous Page 上一页 Next Page 下一页 MySQL-简介 (MySQL - Introduction) 什么是数据库？ (What is a Database?) A database is a separate ap...
Python小白的数据库入门
热门推荐
编程之路的专栏
06-28 3万+
文章目录前言SQL数据库数据库SQL语言入门SQL简介SQL 的作用SQL语句分类SQLite 数据库SQLite 中的数据类型DDL语句创建表删除表修改表DML语句添加删除修改查询Python中的SQLite操作SQLite游标对象数据库可视化归纳总结欢迎关注我的公众号：编程之路从0到1 前言 可以毫不夸张的说，不懂数据库，不是真正的程序员。纷繁复杂，界面绚丽的程序，最本质的无非都是在操作数据...
SQL(HIVE)-insert用法
Zstarling的博客
11-29 4384
SQL(HIVE)-insert创建表。
hive sql插入一行数据_hive分区表插入一条测试数据
weixin_39628247的博客
03-04 662
1.show create table tb_cdr;+-------------------------------------------------------+--+| createtab_stmt |+-------------------------------------------------------...
hive3新增資料_Hive 3.x 支持 ACID 增删改查
weixin_39653448的博客
02-01 930
Hive 3 ACID事务Hive 3通过使用涉及增量文件的写入，读取，插入，创建，删除和更新操作中的技术实现事务性表的原子性和隔离操作，这些操作可以提供查询状态信息并帮助您解决查询问题。写入和读取操作Hive 3写入和读取操作改进了事务表的ACID属性和性能。事务表与其他表一样执行。Hive支持所有TPC Benchmark DS(TPC-DS)查询。Hive 3及更高版本通过简单的写入和插入扩...
3.Hive基本SQL操作
小羽的博客
07-21 285
表结构 1,小明1,lol-book-movie,dalian:ganjingzi-shenyang:sujiatun 2,小明2,lol-book-movie,dalian:ganjingzi2-shenyang:sujiatun2 对于Hive多了以下几种类型 #基本数据类型 string #复杂数据类型 #array和map要求数据类型一致 array #集合 map #map struct #相当于类 创建表（DDL） 自定义分隔符 create table psn( id int,
hive分区表插入数据时错误，提示code=2
最新发布
06-08
### Hive 分区表插入数据时出现错误代码2的解决方案 在Hive中，当分区表插入数据时出现错误代码2的情况，通常与以下几个方面有关：元数据库配置、动态分区模式设置以及数据存储格式等问题。以下是详细的分析和解决方法： #### 1. 检查元数据库编码问题 如果元数据库（如MySQL）的编码格式不正确，可能会导致类似错误。确保元数据库的编码格式为`latin1`，因为Hive对字符集的兼容性有一定限制[^1]。 - 打开Hive的配置文件（如`hive-site.xml`），找到元数据存储的相关配置项。 - 进入MySQL数据库，执行以下SQL语句以修改编码格式： ```sql ALTER DATABASE hive_db CHARACTER SET latin1 COLLATE latin1_bin; ``` - 修改完成后，重启Hive服务以使更改生效。 #### 2. 动态分区模式的设置 如果在插入数据时使用了动态分区，并且未正确配置动态分区模式，则可能出现错误。默认情况下，Hive的动态分区严格模式要求至少包含一个静态分区列。如果未满足此条件，可能会引发错误[^2]。 - 确保在Hive会话中启用动态分区支持，并根据需求调整严格模式： ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; ``` - 如果需要保留严格模式，可以在插入数据时明确指定静态分区列值。例如： ```sql INSERT OVERWRITE TABLE wins.word_count PARTITION(p_y='2023', p_ym, p_ymd) SELECT col1, col2, p_ym, p_ymd FROM wins.word_count_temp; ``` #### 3. 数据存储格式及路径问题 如果目标分区表的存储格式或路径配置不正确，也可能导致插入失败。检查以下内容： - 确认目标表的存储格式是否与源数据一致。例如，如果源表为`TEXTFILE`格式，而目标表为`ORC`格式，则需要进行显式转换。 - 确保目标分区路径已正确创建，并具有写权限。可以通过以下命令手动创建分区： ```sql ALTER TABLE wins.word_count ADD PARTITION (p_y='2023', p_ym='202301', p_ymd='20230101'); ``` #### 4. Hive与HBase整合时的特殊配置 如果目标分区表涉及HBase存储，则需要额外配置HBase相关的属性。例如，在创建表时指定`HBaseStorageHandler`以及列映射关系[^3]。 - 示例建表语句： ```sql CREATE TABLE hbase_table_1(key INT, value STRING) PARTITIONED BY (day STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz"); ``` - 在插入数据时，确保HBase表已存在且结构匹配。 #### 5. 检查日志以定位具体问题 如果上述方法仍无法解决问题，建议查看Hive的日志文件以获取更详细的错误信息。日志路径通常位于Hive安装目录下的`logs`文件夹中。通过分析日志，可以进一步确认错误的具体原因。 --- ### 示例代码 以下是一个完整的插入数据示例，假设目标表为`word_count`，并且分区列为`p_y`、`p_ym`和`p_ymd`： ```sql -- 启用动态分区支持 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; -- 插入数据 INSERT OVERWRITE TABLE wins.word_count PARTITION(p_y, p_ym, p_ymd) SELECT col1, col2, p_y, p_ym, p_ymd FROM wins.word_count_temp; ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xcagy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值