hive 内外部表加载hdfs数据位置情况

最新推荐文章于 2024-01-27 22:57:21 发布
原创 最新推荐文章于 2024-01-27 22:57:21 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hive

本文详细介绍了Hive中内部表和外部表加载HDFS数据的情况。对于内部表，LOAD DATA操作会导致HDFS数据移动到hive表目录/user/hive/warehouse下；而外部表则保持数据在原有HDFS路径不变。通过直接指定location，无论内部还是外部表，数据位置都不会受到影响。

hive 表加载hdfs数据

情况1：
创建内部表
create table if not exists tmp.testa (merchant_id string) stored as parquet;
在这里插入图片描述
加载前hdfs数据

导入数据
LOAD DATA INPATH ‘/hive_log/basis_report_data/2021-02-01’ INTO TABLE tmp.testa
在这里插入图片描述
总结：创建内部表 load 数据 hdfs数据会进行迁移 迁移位置 到了 hive表目录/user/hive/warehouse/tmp.db

情况二
创建外部表
create external table if not exists tmp.testb (merchant_id string) stored as parquet;

加载前hdfs数据
在这里插入图片描述
LOAD DATA INPATH ‘/hive_log/basis_report_data/2021-02-02’ INTO TABLE tmp.testb

在这里插入图片描述
总结：创建内部表 load 数据 hdfs数据会进行迁移 迁移位置 到了 hi

最低0.47元/天 解锁文章
【大数据Hive】hive 加载数据常用方案使用详解
congge_study的博客
09-05 7083
hive 加载数据常用方案使用详解
Hive从HDFS中加载数据
Rashaun`s blog
11-27 3696
建表         以手机流量信息为例插入30w行数据   create table flow(id string,phonenum string,mac string,ip string,num1 int,num2 int,up int,down int,allflow int) row format delimited fields terminated by "\t"; 列名不能...
hive external table partition 关联HDFS数据
懒散狂徒的专栏
10-26 3264
EXTERNAL 外部表 在建表的时候制定一个指向实际数据的路径(LOCATION) hive创建内部表时，会将数据移动到数据仓库指向的路径；           创建外部表时，仅记录数据所在的路径，不对数据的位置做任何改变， 在删除表的时候：     内部表的元数据和数据会被一起删除，     而外部表只删除元数据，不删除数据。 HDFS中已经导入了城市日期数据文件。 /u
Hive建表语句Location与HDFS创建目录
Time_Needer的博客
07-21 2397
建外部表使用LOCATION，读取到数据，同时插入数据，会在LOCATION位置新生成文件000000_0，然我删除外部表，数据文件还在，证明外部表功能还在。 我建内部表使用LOCATION，读取到数据，同时插入数据也会生成新文件，但如我删除内部表，数据文件都会消失，整个目录都会删除掉，也正好符合内部表的功能。 我建立外部表，不使用LOCATION，会在默认在/hive/warehouse/数据库名称/表名 建立目录，然后插入数据，会生成新文件，删除表。目录和文件都还在。符合外部表功能。 建立内部表，不使.
如何查看hive表在hdfs中的位置
热门推荐
HappyRocking的专栏
06-11 3万+
在 hive 环境下使用命令： hive> show databases; # 查看所有的数据库 OK app dev hive> use dev; # 选择dev数据库 OK hive> show create table test_table; # 打印创建表的sql语句 sql语句中有一项为 LOCATION，即为此表在 hdfs 中的位置，如： LOCATI...
【Hive】创建Hive表格，从HDFS中加载数据
懂得一千零一种,赋予你失败的方法！
12-25 8700
文章目录一、创建Hive基础表二、上传HDFS数据集三、Hive表加载数据集 一、创建Hive基础表 CREATE DATABASE IF NOT EXISTS test; USE test; CREATE EXTERNAL TABLE student ( name STRING, age INT, gpa string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' S.
Hive操作语句的使用实例讲解
weixin_34041003的博客
02-06 344
#创建表人信息表person(String name,int age)hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE;OKTime taken: 0.541 seconds#创...
Hive加载数据的方式
qq_45450889的博客
02-19 1117
方式一 1. 在hdfs上新建一个目录：dfs -mkdir /user/hive/warehouse/pgdb.db/dept_partition/year=2018; 2. 上传文件：dfs -put /home/hduser/software/hive_1.2.1/hive_data/dept.txt /user/hive/warehouse/pgdb.db/dept_partition/year=2018; 这个时候通过hive客户端查询不到数据 3. 执行修复命令： msck table de
创建Hive外部表，关联HDFS文件
攻城狮Kevin
08-22 5038
适用于HDFS中存放结构化数据的场景， 先建一张外部表 CREATE EXTERNAL TABLE IF NOT EXISTS `ds_smart_log_idmapping`( `id` string COMMENT '包含wimei、wuser、telep、dimei和idfa', `ffaid` string COMMENT 'ffaidXXX', `timeStamp`...
HDFS关联到hive外部表，并实现查询返回结果
sinat_26566137的博客
05-20 951
背景 现在已知有hdfs的分区文件，想创建一个hive外部表查询数据； 解决方式 解决方式1（亲测有效，推荐） 1）首先创建hive外部表； CREATE TABLE dw.tab_a ( `id` bigint, `created_dt` string, `CRE_DATE` date, `UPD_DATE` TIMESTAMP, `CRE_USER` string, `UPD_USER` string ) PARTITIONED BY (`dt` str
Java将hive数据导入到hdfs_把HDFS上的数据导入到Hive中
weixin_35645652的博客
02-26 596
1. 首先下载测试数据，数据也可以创建http://files.grouplens.org/datasets/movielens/ml-latest-small.zip2. 数据类型与字段名称movies.csv(电影元数据)movieId,title,genresratings.csv(用户打分数据)userId,movieId,rating,timestamp3. 先把数据存放到HDFS上hd...
hive location更新&hive元数据表详解
赵英超的博客
09-11 2069
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。hive分为内部表和外部表，两种表修改路径方式不一样。
Hive内部表和外部表
TRX的博客
01-19 3656
Hive表分为两类，即内部表和外部表。 内部表（managed table） 所谓内部表（managed table）即Hive管理的表，Hive内部表的管理既包含逻辑以及语法上的，也包含实际物理意义上的，即创建Hive内部表时，数据将真实存在于表所在的目录内，删除内部表时，物理数据和文件也一并删除。 外部表（external table） 外部表（external table）则不然，其管理仅仅是在逻辑和语法意义上的，即新建表仅仅是指向一个外部目录而已。同样，删除时也并不物理删除外部目录，而仅仅是
Hive Load装载数据与HDFS的关系
CharlesCFA的博客
02-19 1959
装载数据：LOAD移动数据 LOCAL：指定文件位于本地文件系统 ；OVERWRITE表示覆盖现有数据 使用方法： -- load数据格式 LOAD DATA LOCAL INPATH '/home/dayongd/Downloads/employee.txt' OVERWRITE INTO TABLE employee; -- 方式一：LOCAL表示文件位于本地，OVERWRITE表示覆盖现有数据 LOAD DATA LOCAL INPATH '/home/dayongd/Downloads/empl
Hive外部表详解以及案例演示
小白
06-09 1597
什么叫外部表 外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。 外部表的特性 （1） 位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。 （2） 对外部表的访问可以通过SQL语句来完成，而不需要先将外部表中的数据装载进数据库中。 （3） 外部数据表都是只读的，因此在外部表不能够
hive内部表和外部表
iKuboo
09-04 335
内部表创建方法： create table student( id int, name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; 使用desc formatted student; 查看表的描述信息，Table Type =MANAGED_TABLE ，说明该表为内部表 在准备hdfs的/opt/tes...
5.Hive表修改Location，一次讲明白
每天进步一点点
01-27 4401
Hive中偶尔会遇到需要调整表Location的情况，这篇文章给出了相应的解决方案，以供参考。
hive ,从hdfs把数据文件load导入到表
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-27 2万+
hive> load data inpath 'hdfs://ns1/abc/sales_info/hello/sales_info.txt' overwrite into table sales_info partition(dt = '2019-04-26'); 1 原数据文件（已经不存在了，是从原路径移动到了新路径下）： 如果从本地导入后本地的原数据文件依然存在，相当于复制过去；...
Hive load hdfs文件生成hive表
qq_40771567的博客
12-17 3586
1、上传文件到hdfs hdfs dfs -put ./user_id.csv /team/profile/test; 2、创建表(进入hive客户端) create table tmp.profile_need_match_view_users(id string) row format delimited fields terminated by '\t'; 3、load到hive表 load data inpath '/team/profile/test/user_id.csv' into
hive查看表在hdfs的存储位置
最新发布
07-30
首先，用户的问题是：“我想查找Hive表在HDFS中的存储路径 请问Hive 查看表对应的 HDFS 存储位置”。这是一个关于如何在Hive中查看表在HDFS中的存储位置的问题。 根据系统级指令，我需要： 1. 所有行内数学表达式...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值