一句话搞懂 Hive 内部表和外部表

Hive内外部表区别
最新推荐文章于 2024-07-27 10:55:00 发布
原创 最新推荐文章于 2024-07-27 10:55:00 发布 · 235 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #大数据 #hadoop

本文介绍了Hive中内部表和外部表的概念及其主要区别。内部表删除时会同时删除元数据和数据；而外部表仅删除元数据，数据保留。实际应用中，外部表更为常用。

什么是HIVE的内部表和外部表？

1）内部表（也叫管理表）：当我们删除一个内部表时，表元数据和原始数据都会删除。
2）外部表：删除外部表只会删除表的元数据，原始数据不会删除。

实际工作中，基本用到的都是外部表。内部表自己单机做测试时候使用。

Hive表基本操作_1
分享~
05-14 886
摘要：内部表 外部表 数据导入导出 分区表
摸鱼大数据——Hive表操作——基本操作
weixin_65694308的博客
05-27 2183
业务数据文件在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称/业务数据文件。-- 该表的数据存放路径 hdfs://node1:8020/user/hive/warehouse/day06.db/outer_stu1。自定义表在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称。替换的时候注意: 替换的时候，是使用新的字段信息替换原有的所有字段。
HIve内部表外部表概念
星辰大数据的博客
12-12 1642
1. 外部表（external table） 有external修饰，表数据保存在HDFS上，该位置由用户指定。删除表时，只会删除表的元数据，所以外部表不是有Hive完全管理的 2. 内部表(internal table/managed table) 没有external修饰，表数据保存在Hive默认的路径下，数据完全由Hive管理，删除表时元数据和表数据都会一起删除。 3.区别 ...
hive简单介绍
Noreaday的博客
07-25 696
优质资源：http://wiki.baidu.com/pages/viewpage.action?pageId=69100592                   https://cwiki.apache.org/confluence/display/Hive/Home                   http://wiki.baidu.com/pages/viewpage.action...
关于hive的介绍和使用
Monica114的博客
07-30 2275
对hive的简介和理解 在公司，基本上大部分的查询都是在hive上进行的。基于自己天天和hive打交道，有感而发，所以有了想写这篇文章的意愿。 如果用一句话来解释hive是什么和能做什么，那就是：hive是基于Hadoop的一个数据仓库。因此，要理解hive，就要先去了解Hadoop和它相关的MapReduce，以及数据仓库。对于Hadoop和MapReduce，读者可以先去网上查一下。对于数据仓库的理解，我之前写了一篇关于数据仓库的文章，读者也可以去看一下。 具体而言，hive就是在Hadoop上架了一层
hive的 内部表与外部表的详解
xinji
10-29 413
创建hive 内部表(managed table) create table emp_managed( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';...
Hive内部表和外部表理解测试
hyj
03-19 726
一、概念 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）； 外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）； ...
解释下面这句话 hive外部表可以共享数据，且不用加载到hive，减少了数据加载落地
06-04
因此，Hive外部表可以共享数据，即多个外部表可以共享同一份数据源中的数据。 与内部表不同，外部表的数据不需要加载到Hive的元数据中，也不需要在Hive中进行数据落地操作。这样可以减少数据加载的时间和空间成本，...
Hive的基本操作和CRUD
guoliduo的博客
04-07 745
目录 一、Hive产生的原因 二、数据仓库-Hive 一、Hive产生的原因 1. 方便对文件及数据的元数据进行管理，提供统一的元数据管理方式。 2. 提供更加简单的方式来访问大规模的数据集，使用SQL语言进行数据分析。 二、数据仓库-Hive 1. 数据仓库基本概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定...
Hive原理详解
qq_39131779的博客
10-25 2721
文章目录背景1.数据库的原理2.什么是Hive3.HQL与传统SQL的区别4. Hive的原理4.1 Hive简介5.Hive体系架构5.1 Hive的基本组成5.2 各组件的基本功能5.3 Hive和Hadoop的关系5.4 Hive的数据管理5.4.1 Hive中的内部表和外部表5.4.2 Hive中的临时表5.4.3 Hive中的分区表5.4.4 Hive中的分桶表5.4.5 Hive中的视...
Hive的数据模型之内部表
实践求真知
11-23 602
一 内部表（Table） 1、与数据库中的Table在概念上是类似的。 2、每一个Table在Hive中都有一个相应目录存储数据。 3、所有的Table数据（不包括External Table）都保存在这个目录中。 4、删除表时，元数据与数据都会被删除。 二 实战 1、表保存在默认位置 hive> create table t1 > (tid int,tname strin
Hive内部表与外部表
weixin_71667809的博客
03-29 1336
外部表被drop后，表的metadata会被删除，但是data不会被删除。（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。内部表(managed table): 未被external修饰的表，也叫管理表。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。内部表：删除表会删除表的元数据(metadata)和表数据（data）。
-Hive-
weixin_44560620的博客
05-31 869
Hive定义 Hive 是一种数据仓库技术，用于查询和管理存储在分布式环境下的大数据集。构建于Hadoop的HDFS和MapReduce上，用于管理和查询分析结构化/非结构化数据的数据仓库; 使用HQL（类SQL语句）作为查询接口； 使用HDFS作为底层存储； 使用MapReduce作为执行层，即将HQL语句转译成M/R Job然后在Hadoop执行 Hive的表其实就是HDFS的目录/文件夹，按表名把文件夹分开。如果是分区表，则分区值是子文件夹； Hive概述—元数据、数据、目录 元数据保存在DB（
Hive删除语句：外部表删除的是什么？
最新发布
My_wife_QBL的博客
07-27 1384
Hive 删除语句在处理外部表时，只删除表的元数据，而保留实际的数据文件。这种设计基于数据共享、数据持久性和数据安全性的考虑，使得数据文件可以在多个系统之间共享和复用，确保数据不会因误操作而丢失。在实际应用中，使用外部表可以满足多系统数据共享、长期数据保留、数据迁移和备份等需求。同时，通过遵循最佳实践，可以更好地管理和使用外部表，确保数据的一致性和完整性。
为什么Hive内部表的删除会将数据全部删除，而外部表只删除表结构？为什么用外部表更好？
My_wife_QBL的博客
07-27 1137
内部表和外部表是 Hive 中两种重要的表类型，它们在数据管理方式上有显著的差异。内部表的删除会将数据全部删除，而外部表只删除表结构。这种设计使得内部表适用于数据完全由 Hive 管理、数据生命周期较短的场景，而外部表适用于数据需要与其他系统共享、数据生命周期较长的场景。使用外部表有很多优势，包括数据共享、数据持久性、避免数据丢失、数据治理和管理、数据迁移和备份等。在实际应用中，用户应根据具体需求和场景选择合适的表类型，并遵循最佳实践来管理和使用外部表。
hadoop生态圈之hive面试（一）
m0_46914845的博客
09-11 2265
hadoop生态圈之hive面试（一）
大数据开发（Hive面试真题）
key_honghao的博客
03-21 3267
Hive的三种自定义函数包括UDF（User-Defined Function（用户定义函数））、UDAF（User-Defined Aggregate Function（用户定义聚合函数））和UDTF（User-Defined Table-Generating Function（用户定义表生成函数））。UDF是最常见的自定义函数类型，用于对单个输入值进行处理并返回一个输出值。
Hive详细介绍及简单应用
热门推荐
YHJ
06-02 1万+
1.Hive基本概念 1.1Hive简介 1.1.1什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1.2为什么使用Hive 1.）直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.） 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 扩展功能很方便。 1.1....
hive中的内部表和外部表
qq_51666324的博客
10-23 3116
未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）。 区别 1. 内部表数据由Hive自身管理，外部表数据由HDFS管理； 2.内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS的/user/hive/warehouse文件夹下以外...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值