外部表分区添加数据方式代码示例

最新推荐文章于 2023-05-31 06:27:34 发布
最新推荐文章于 2023-05-31 06:27:34 发布
阅读量625 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 分布式 文章标签： 大数据 shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hacker_zhb/article/details/84185874

tips
1.
create external table ext_user(id int, mail String, count int) partitioned by (ds string) row format delimited fields terminated by '\t' stored as textfile location '/dsap/rawdata/user';  hdfs location 路径需为文件夹，或不存在（执行后会自动创建文件夹），另 date为保留关键字

2.
hadoop fs -put /work/user.txt /dsap/rawdata/user/20120412/user.txt
hadoop fs -put /work/user.txt /dsap/rawdata/user/20120413/user.txt

hadoop fs -ls /dsap/rawdata/user
drwxr-xr-x   - root supergroup          0 2012-04-13 16:46 /dsap/rawdata/user/20120412
drwxr-xr-x   - root supergroup          0 2012-04-13 16:46 /dsap/rawdata/user/20120413

3.
load data inpath '/dsap/rawdata/user/20120412' overwrite into table ext_user partition (ds='20120412');
load data inpath '/dsap/rawdata/user/20120413' overwrite into table ext_user partition (ds='20120413');

后
hadoop fs -ls /dsap/rawdata/user
drwxr-xr-x   - root supergroup          0 2012-04-13 16:46 /dsap/rawdata/user/ds=20120412
drwxr-xr-x   - root supergroup          0 2012-04-13 16:46 /dsap/rawdata/user/ds=20120413

alter table ext_user add partition (ds='20120411') location '/dsap/rawdata/user/20120411';
后
hadoop fs -ls /dsap/rawdata/user
drwxr-xr-x   - root supergroup          0 2012-04-13 17:06 /dsap/rawdata/user/20120411
drwxr-xr-x   - root supergroup          0 2012-04-13 16:46 /dsap/rawdata/user/ds=20120412
drwxr-xr-x   - root supergroup          0 2012-04-13 16:46 /dsap/rawdata/user/ds=20120413

4.
select count(*) from ext_user where ds='20120413';

5.
show partitions ext_user;




only test:

hadoop fs -put /work/user.txt /dsap/rawdata/user/20120415/user.txt
hadoop fs -put /work/user.txt /dsap/rawdata/user/20120416/user.txt
fs -ls
drwxr-xr-x   - root supergroup          0 2012-04-13 17:59 /dsap/rawdata/user/20120415
drwxr-xr-x   - root supergroup          0 2012-04-13 17:59 /dsap/rawdata/user/20120416

then
load data inpath '/dsap/rawdata/user/20120415' overwrite into table ext_user1 partition (ds='20120415');
fs -ls
drwxr-xr-x   - root supergroup          0 2012-04-13 18:02 /dsap/rawdata/user/20120416
drwxr-xr-x   - root supergroup          0 2012-04-13 17:59 /dsap/rawdata/user/ds=20120415   (20120415->ds=20120415)

do a tricky test:
load data inpath '/dsap/rawdata/user/ds=20120415' overwrite into table ext_user1 partition (ds='ds=20120415');
fs -ls
drwxr-xr-x   - root supergroup          0 2012-04-13 18:02 /dsap/rawdata/user/20120416
drwxr-xr-x   - root supergroup          0 2012-04-13 17:59 /dsap/rawdata/user/ds=ds%3D20120415 (ds=20120415->ds=ds%3D20120415)

hadoop fs -mv /dsap/rawdata/user/ds=ds%3D20120415 /dsap/rawdata/user/20120415
load data inpath '/dsap/rawdata/user/20120415' overwrite into table ext_user1 partition (ds='test');
drwxr-xr-x   - root supergroup          0 2012-04-13 17:59 /dsap/rawdata/user/ds=test
conclusion:  load data inpath 分区时候会使hdfs路径修改， mv 原路径 partition（分区=值）的形式

alter table ext_user1 add partition (ds=20120416) location '/dsap/rawdata/user/20120416';
drwxr-xr-x   - root supergroup          0 2012-04-13 18:02 /dsap/rawdata/user/20120416 路径不变
tricky one
hadoop fs -put /work/user.txt /dsap/rawdata/user/20120417/user.txt
alter table ext_user1 add partition (ds='ok') location '/dsap/rawdata/user/20120417';
drwxr-xr-x   - root supergroup          0 2012-04-13 18:19 /dsap/rawdata/user/20120417  路径不变

conclusion alter table add partition(分区=值) location ''; 不改变hdfs路径

Hive创建外部表以及分区
Dean Chen的专栏
05-31 1万+
创建外部表的好处是数据可以随时从hdfs中挂载进表中使用分区的好处是可以缩短查询范围下面的例子展示了如何创建外部表CREATE EXTERNAL TABLE my_daily_report( last_update string, col_a string, col_b string, col_c string, col_d string, col_
hive创建带分区的外部表
yanchuan2的博客
01-19 2520
创建外部表并加上分区外部表与内部表的区别就是，删除表的时候，内部表会将hdfs数据删除，而外部表只删除元数据，并不会将表数据删除。一般情况下最好创建外部表。 1. 创建外部表sql语句（分区可以在后面加上） CREATE EXTERNAL TABLE student(name String,age int) COMMENT ‘this is a test table’ partitione
hive外部表使用分区partition
热门推荐
竹叶青 的专栏
07-03 1万+
1）创建外部表 create external table test(username String,work string) PARTITIONED BY(year String, month String, day String) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/tmp/test/';      2）修改表创建
hive1.1.0建立外部表关联HDFS文件
weixin_30677617的博客
11-08 346
0. 说明 已经安装好Hadoop和hive环境，hive把元数据存储在mysql数据库。这里仅讨论外部表和HDFS的关联，并且删掉外部表之后，对HDFS上的文件没有影响。 1. 在HDFS创建分区，并存有文件 手工创建或者由程序在HDFS上生成了分区目录，每个分区目录下有相应的文件。本例中根据day分了两个分区，如下所示： /test/in/day=20/20.txt /test/...
hive(四) -- 内(外)部表、分区和分桶表
Gefangenes的博客
05-31 806
分桶表也叫做桶表，叫法源自建表语法中bucket单词，是一种用于优化查询而设计的表类型。分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。不合理的数据分区划分方式可能导致有的分区数据过多，而某些分区没有什么数据的尴尬情况。分桶是将数据集分解为更容易管理的若干部分的另一种技术。对Hive(Inceptor)表分桶可以将表中记录按分桶键(字段)的哈希值分散进多个文件中，这些小文件称为桶。桶以文件为单位管理数据!
hive：建表：普通表 外部表 分区表 桶表
不花的花和尚的博客
10-30 2549
1.普通表 普通表的创建，如上所说，不讲了。其中，一个表，就对应一个表名对应的文件。 2.外部表 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，...
Hive 分区表 & 数据加载
Python+大数据+数据分析+自动化+Vue组件开发
12-09 5833
1. Hive表数据的导入方式 1.1 本地上传至hdfs 命令： hdfs dfs -put [文件名] [hdfs绝对路径] 例如：测试文件 test_001.txt 内容如下 在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，建表语句如下： create table test_001(id string, name string) row format delimited fields terminated
Hive外部表与分区表的应用
介绍Hive外部表与分区表 ## 1.1 什么是Hive外部表？ Hive外部表是一种在Hive中定义的表，它与Hive仓库（Hive Warehouse）中的数据有关联，但并不存储实际数据。外部表是在数据文件所在的位置创建的，可以让Hive在...
Hive动态分区与外部表
动态分区能够根据数据的特定字段自动创建和管理分区，而外部表则允许在Hive中查询和操作外部数据。 在本文中，我们将探讨动态分区和外部表的原理、优势以及如何在Hive中使用它们。 # 2. 动态分区 动态分区是Hive
【MySQL分区表数据归档】：自动化归档技巧，高效管理历史数据
它通过范围、列表、散列等方式将数据分布在不同的物理部分中，有助于提高查询性能、维护数据的可管理性，并有助于数据的归档。 ## 分区表的优势 分区表的优势包括改善性能、简化维护工作和优化大型数据库的操作。在...
9.16 hive基础语法
weixin_45355124的博客
09-16 309
Hive基础语法 HiveServer和beeline（HiveServer2）的区别： hive不需要启动服务再访问 beeline需要启动服务端，在访问客户端 beeline在查询效率上比hive高，beeline不支持update和delete hive： 连接方式 hive -h hostname -p port 加载文件 将本地文件上传到指定的存储路径中表就可以读取到数据（需要和表结构匹配） 使用load命令 load data local inpath 'local_dir
Hive内部表、外部表、分区表以及外部分区表创建以及导入数据实例讲解
什么最重要？算法！！
01-08 3378
源数据格式： [dd_edw@BJHC-Client-144113 zhang_dd_edw]$ more data.txt 25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15 25499#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_li
Hive基础（建表（内部表，外部表）&插入数据&导出命令&数据查询）
ShiningBlueOcean
02-27 3500
Hive hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行 Hive操作和操作各种关系数据库基本语法很相似，但是也有特别之处，本篇主要讲述Hive操作和你所熟悉的sql语句的...
hive外部表创建分区,并根据分区进行查询
....
11-15 1万+
1. hive创建外部表 创建外部表的好处: hive创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变. 删除表的时候,外部表只删除元数据,不删除数据 所以总结起来就是 : 外部表相对安全,数据组织更加灵活,方便共享源数据 建表语法 CREATE EXTERNAL TABLE IF NOT EXISTS 表名 ( 列名1 数据类型, . ...
hive内部表和外部表，增加分区并加载数据区别
join_null的博客
08-27 1286
假定有hive中有两个表empl_inn(内部表)和empl_ext(外部表),他们都有分区（logdate string）； 1.对于外部表 empl_ext alter table empl_ext add partition (logdate=‘2015-02-26’) location ‘hdfs://nameservice1/vod_pb/’; 执行添加分区时 vod_pb/ 文件夹下的数据不会被移动。并且没有分区目录logdate=2015-02-26 alter table empl_ext
插入200万条数据（外部表加载的方式）
JOHNKING123的专栏
03-20 1804
1 数据源    200w2 利用外部表的数据加载，导入数据    1) 用另外一个dba用户创建目录，并授权该目录给当前用户（如果用本用户创建，后面会报ORA-29400: 数据插件错误打开文件 d:\XX.log 时出错)           2)创建外部表        CREATE TABLE "EXTERNAL_TABLE_TEST" ( ID VARCHAR(40), NAME V...
hive表操作（一）——内部表和外部表的创建于数据导入
archer的技术故事
01-21 9947
hive表操作（一）——内部表和外部表的创建于数据导入 本文主要介绍通过hive建立内部表和外部表，并且向表中导入数据。 本文阅读前提： 1、正常运行hadoop集群。 2、正常运行hive。 首先说一下内部表和外部表的区别。内部表的生命周期以及数据都由hive进行管理，换句话说就是内部表的表结构和表中的数据都是由hive进行管理的。如果删除了内部表，那么内部表中的数据也会别删除
Hive---外部分区表的创建
helloxiaozhe的博客
06-23 1万+
Hive---外部分区表的创建（1）假设有个分区表，数据如下：hive> show create table partition_parquet; OK CREATE TABLE `partition_parquet`( `member_id` string, `name` string, `add_item` string) PARTITIONED BY ( `stat_d...
定时任务插入数据到postgreSQL分区表
最新发布
03-26
### 如何设置定时任务以向 PostgreSQL 分区表插入数据 为了实现通过定时任务向 PostgreSQL 的分区表中插入数据，可以通过以下方法完成： #### 方法一：使用 `pg_cron` 扩展 PostgreSQL 提供了一个名为 `pg_cron` 的扩展工具，允许在数据库内部调度作业。以下是具体的步骤： 1. **安装并启用 `pg_cron` 扩展** 需要先确保服务器上已安装 `pg_cron` 并启用了该功能。 ```sql CREATE EXTENSION IF NOT EXISTS cron; ``` 2. **定义插入逻辑** 创建一个存储过程或 SQL 脚本，负责将新数据插入到分区表中。例如： ```sql CREATE OR REPLACE FUNCTION insert_into_partitioned_table() RETURNS void AS $$ BEGIN -- 假设有一个主表 orders 和基于日期的分区表 INSERT INTO orders (order_id, order_date, amount) SELECT generate_series(1, 10), current_date, round(random() * 100); END; $$ LANGUAGE plpgsql; ``` 3. **配置定时任务** 使用 `pg_cron` 安排上述函数按指定的时间间隔运行。例如，每小时执行一次： ```sql SELECT cron.schedule('0 * * * *', $$SELECT insert_into_partitioned_table();$$); ``` 此方法的优点在于无需依赖外部脚本或程序，完全由数据库管理。 --- #### 方法二：使用操作系统级的任务计划器（如 Linux Cron） 如果更倾向于使用操作系统的任务计划器，则可以按照如下方式进行设置： 1. **编写 SQL 插入脚本** 编写一个简单的 SQL 文件，其中包含插入数据的逻辑。例如： ```sql -- file: insert_data.sql \connect your_database_name; INSERT INTO orders (order_id, order_date, amount) SELECT generate_series(1, 10), current_date, round(random() * 100); ``` 2. **创建 Shell 脚本来调用 SQL 文件** 将 SQL 文件封装在一个可执行的 shell 脚本中： ```bash #!/bin/bash psql -U your_username -h localhost -f /path/to/insert_data.sql ``` 3. **安排 Cron 任务** 在 Linux 中编辑 crontab 文件，添加一条规则以定期运行脚本。例如，每天凌晨 3 点执行： ``` 0 3 * * * /path/to/run_insert_script.sh >> /var/log/cron.log 2>&1 ``` 这种方法适合需要跨多个环境部署的情况，并且能够利用现有的系统资源。 --- #### 方法三：结合 Spring Batch 或其他框架 对于 Java 应用场景下的项目，可以考虑使用 Spring Batch 来处理批量插入任务。Spring Data JPA 可以直接操作主表，而底层会自动路由至相应的分区表[^1]。 1. **定义批处理 Job** 利用 Spring Batch 创建一个 Job，其 Step 包含读取源数据和将其写入目标表的操作。 2. **调度 Job 运行** 结合 Quartz Scheduler 或 Spring Task 注解 (`@Scheduled`) 实现周期性触发。 示例代码片段： ```java @Component public class PartitionDataInserter { @Autowired private OrderRepository orderRepository; @Scheduled(cron = "0 */5 * * * ?") // 每隔五分钟执行一次 public void scheduleInsertTask() { List<Order> newOrders = generateNewOrders(); orderRepository.saveAll(newOrders); } private List<Order> generateNewOrders() { return IntStream.rangeClosed(1, 10) .mapToObj(i -> new Order(UUID.randomUUID(), LocalDate.now(), Math.random() * 100)) .collect(Collectors.toList()); } } ``` 这种方式特别适用于复杂的业务需求以及分布式架构中的应用层控制。 --- ### 注意事项 - 如果使用声明式分区表，需注意手动维护分区结构，即提前创建未来可能使用的分区表。 - 对于时间戳类型的字段，建议采用标准格式化方式提取年月日等信息以便更好地支持分区策略[^4]。 - 当涉及大量历史数据迁移时，应评估性能影响并采取分批次导入措施[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值