【Hive总结】4. Hive的外部表与内部表

HIVE 系列 (4) hive 内部表和外部表HQL查询统计 运行查询搜狗实验室200万条数据,耗时6.028秒         1\[root@master HiveTBdata]# service mysql start Starting MySQL SUCCESS!   2\[root@master HiveTBdata]# service mysql start Starting MySQL.................. 阅读详情

在Hive总结的第二篇中讲述了HBase与Hive的总结!

一、内部表

1. 准备测试数据

创建测试文件course.csv

hive,90
hbase,85
hadoop,78
flume,89
sqoop,99
storm,80
spark,78
kafka,70

第一列为课程名称,第二列为课程分数

2. 数据加载到HDFS上

在hdfs文件系统中创建hive-hbase目录,并加载测试数据。

(1)查看hdfs文件目录   

hdfs dfs -ls /

(2)创建/hive-hbase/course目录

hdfs dfs -mkdir -p /hive-hbase/course

(3)将course.csv文件上传至/hive-hbase/course目录下

hdfs dfs -put course.csv的路径 /hive-hbase/course/

3. 创建Hive数据库

进入Hive Shell 客户端创建库course

create database course;

4. 创建Hive外部表

 进入Hive Shell 客户端创建外部表

create  external table if not exists course.testcourse
(cname string,score int) 
row format delimited fieldsterminated by ','
stored as textfile location '/hive-hbase/course';

5. 查询数据

6. 创建内部表

create table course.hbase_testcourse 创建Hive内部表

(key string,cname string,score int) hive表的字段

 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES

("hbase.columns.mapping" = ":key,cf:cname,cf:score")  hive与hbase的映射字段

 
TBLPROPERTIES("hbase.table.name" = "hbase_testcourse"); hive与hbase的映射表

【提示】创建成功后,hive与hbase中同时都有这个表

 

7. 加载数据

insert overwrite table course.hbase_testcourse 
select score,cname,score from course.testcourse;

 

8. hive中执行查询

【提示】在hive中删除内部表时,hbase中的表也会被删除!

 

二、外部表

创建外部表适用于该表在HBase中已经存在,但在Hive中并没有相关信息。此时可以通过创建外部表的方式,为HBase现有表提供SQL查询条件。而内部表适用于Hive和HBase都没有相关表的情况。

(1)创建HBase表

进入HBase Shell客户端执行建表命令

create 'hbase_test',{ NAME =>'cf'}

(2)插入数据

执行以下命令插入数据

put 'hbase_test','hadoop','cf:score', '95'

put 'hbase_test','storm','cf:score', '96'

put 'hbase_test','spark','cf:score', '97'

 

(3)创建Hive外部表

 

create external table course.hbase_test(cname string,score int) 

STORED BY  'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES

("hbase.columns.mapping" =":key,cf:score") 

TBLPROPERTIES("hbase.table.name" ="hbase_test");


 

(4)在hive中查询hbase表中的数据

 

通过创建外部表可以成功从Hive 查询HBase表中的数据。

浅谈Mike 3D中制作垂向水温分层边界 本次以水温分层为例进行讲解,可应用于水库的水温分层模拟中 阅读详情

相关推荐

别急着做AI:FDE教你识别真需求,让AI真正落地

人工智能项目在落地过程中,经常出现业务方高喊“我们要做AI”,却说不清具体应用场景的现象。判断一个需求是否值得用AI实现,不能只看技术流行度,而要从问题出现频率、当前替代方案以及可量化业务价值三个维度展开验证。同时需要冷静比较规则引擎与大模型的边界:不是所有语义任务都要靠生成式模型,稳定、可解释且低成本的传统方案往往更具工程性价比。数据闭环也至关重要,缺乏历史样本与反馈回流路径的项目,很难在真实环境中持续优化。针对智能客服、合同审查或企业知识库等典型场景,可借助人机协同与最小代价的用户验证,逐步筛除伪需求,

weixin_42624889的博客 343

hive 内部表外部表insert overwrite

1、内部表insert overwrite 会先清空表存储路径的数据,再写入 2、外部表insert overwrite 1)hiveSQL mr执行 若location不是默认的路径,是创建的时候指定的,只会覆盖文件名相同的文件,若旧的文件在新执行的文件中不存在,旧文件会保留 若location是默认的路径,会清空数据再insert,不管文件名是否相同 2)用sparksql执行,会清空数据再insert 3)load data local inpat...

qian_xiao123的博客 4407

五大经典遥感数据集对比:LoveDA、Potsdam、Toronto、Vaihingen、Massachusetts Roads选哪个?

本文深度对比了LoveDA、Potsdam、Vaihingen、Toronto和Massachusetts Roads五大经典遥感数据集。针对城市监测、道路提取、土地分类等不同任务,从分辨率、标注质量、数据规模及场景多样性等核心维度进行分析,为研究者根据项目目标、硬件条件与应用场景选择最合适的遥感数据集提供决策指南。

weixin_29057065的博客 237

FLUME导入数据到HDFS,HIVE建立外部表-载入外部表数据

FLUME采集数据到apps_log/clean/2019-03-12目录下 HIVE创建外部表 CREATE EXTERNAL TABLE ods_app_log ( sdk_ver string ,time_zone string ,commit_id string ... ) partitioned BY (day string ,os strin...

ddbbff2005的博客 779

【逆向实战】Unity游戏资源提取与解密全攻略:从AssetBundle到libil2cpp.so的破解技巧

本文详细介绍了Unity游戏资源提取与解密的完整流程,涵盖从AssetBundle到libil2cpp.so的破解技巧。通过AssetStudio和Il2CppDumper等工具,读者可以学习如何提取未加密资源、处理加密文件,并掌握动态dump技术。文章还提供了自动化脚本编写和常见问题解决方案,帮助逆向工程爱好者高效完成资源提取任务。

weixin_29012765的博客 1052

IEEE LaTeX模板中algorithm排版避坑指南:如何优雅地嵌入算法描述?

本文详细解析了在IEEE LaTeX模板中优雅排版algorithm的实用技巧,包括基础配置、高级自定义及常见问题解决方案。通过嵌套环境与[H]参数的应用,帮助研究者克服IEEEtran模板对算法排版的限制,实现专业且美观的算法呈现。

weixin_28340315的博客 411

Hive外部分区表加载flume打到hdfs上文件读不到.tmp文件怎么办-方法一

flume打到hdfs上时,按照文件大小生成文件,在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上,hive外部表也会加载这些文件,但是当文件完成后.tmp会消失,这时候hive会报找不到文件的错误。这篇文章主要介绍Hive外部分区表加载flume打到hdfs上文件读不到.tmp文件怎么办,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

张伟的专栏 910

grafana 配置页面告警

Rate 下拉选择也可,保持默认也可。By label 选择一个比如选择filename。配置无数据或者错误数据的时候如何处理,这里选择 Normal (表示当做正常不会告警)单机 node_name 标签,选择一个主机,选好后单机 Show logs。单机 New floder,如果之前配置过,也可以选择。单机 Save contact point 保存即可。会跳出如下对话框(如果没有跳出就自己单机选择下)完成后会自动生成如下图,告警规则部分就配置好了。选择告警接收方式(这里选择企业微信 WeCon)

weixin_40548182的博客 3258

hive清空外部表的三种方式

本文总结hive中清空外部表的三种方式 hive版本:2.1.1 环境准备 新建一张外部表: create external table test_external(name String,age int,sex String) stored as orc; 插入数据: insert into table test_externalvalues("johnson",18,"男"); 查看数据: 如果此时使用truncate 命令的话,会抛出错误信息FAILED: Semantic...

lixiaoksi的博客 1万+

electron windows设置镜像地址环境变量报错npm error `ELECTRON_MIRROR` is not a valid npm option

如果你是在使用某个特定的脚本或配置文件,请检查该文件中是否有不正确的配置项,并进行相应的修正。确保你遵循electron的官方安装指南,并且没有包含不必要的或错误的配置选项。如果问题依然存在,可以查看npm的官方文档或者相关社区获取更多帮助。

qq_36158551的博客 3327

13、Java 中 MQTT 异步通知与回调的使用及传感器命令处理

本文详细介绍了在 Java 中使用 MQTT 的异步通知与回调机制,并展示了如何通过 Paho Java 客户端处理与传感器交互的命令。文章包含代码示例,讲解了 MQTT 客户端的连接、订阅、消息处理以及模拟传感器数据发布的过程,适用于希望在 Java 应用中实现 MQTT 通信与设备控制的开发者。

eee77的博客 160

Hive创建外部表导入不同格式的数据至数据仓库

1,数据仓库的层级结构。2,外部表的详细定义以及语法。3,数据装载的几种方式。4,常用的序列化/反序列化器(SerDe)。5,设置一般表的元数据属性。

weixin_74292291的博客 1188

Opencv项目实战:20 单手识别数字0到5

今天要做的是单手识别数字0到5,通过在窗口展示,实时的展示相应的图片以及文字。在这里,我提供一下识别更多数字的方法(0-10)。首先最简便的是双手识别,完全不用更改代码,把图片处理好就行了;其次,就是按照最上面的那张图片,参数figureup是一个长度为5的列表[0,0,0,0,0],你可以参照着手势将其打印出来,然后将其用if条件判断。当然,在我们这边最常见的还是华北手势表示数字,大家按照自己的习惯来就行。

m0_62919535的博客 2880

Hive(4)内部表和外部表

外部表(external table) 有external修饰,表数据保存在HDFS上,该位置由用户指定。删除表时,只会删除表的元数据,所以外部表不是有Hive完全管理的 内部表(internal table/managed table) 没有external修饰,表数据保存在Hive默认的路径下,数据完全由Hive管理,删除表时元数据和表数据都会一起删除。 3.区别 外部表的表数据由HDFS管理,Hive管理外部表元数据,而内部表的表数据和元数据都由Hive管理 外部表的表数据存储位置由用户指定,而内.

刚哥的大数据之路 376

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

4.hive的外部表和内部表

1.外部表和内部表区别 创建表时:创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。 删除表时:在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。 hive默认创建的是内部表 外部表比内部表更加安全 在删除内部表的时候,Hive将会把...

weixin_30247159的博客 153

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

hive3后创建表默认是外部表问题

desc formatted 可以看到表默认内部表。

qq_42437926的博客 615

Hive的4种表结构;内部表与外部表的区别;分区表与分桶表的区别

Hive的4种表结构;内部表与外部表的区别;分区表与分桶表的区别

祁小北de博客 571

06 hive中建表语法、内部表、外部表

二、数据表 2.1 创建数据表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name,...

lovetg0419的博客 424

hive hql文档_HIVE 这些基础知识,你忘了吗?

Hive 其实是一个客户端,类似于navcat、plsql 这种,不同的是Hive 是读取 HDFS 上的数据,作为离线查询使用,离线就意味着速度很慢,有可能跑一个任务需要几个小时甚至更长时间都有可能。在日常开发中 Hive 用的还是挺广泛的,常做一些统计工作,就我自己工作来看其实 80% 的工作由 Hive 的基础部分就能完成了,只有很少的情况需要用到一些复杂查询或者调优工作。本文着重挑选出一些...

weixin_42499004的博客 156

HAWQ 与 Hive 查询性能对比测试

实验目的、硬件环境、软件环境、数据模型、建表并生成数据、执行查询、测试结果

wzy0623的专栏 1万+

hive:Cannot truncate non-managed table table_name

在hue执行"truncate table db_name.table_name"时报错,报错内容为"Error while compiling statement: FAILED: SemanticException [Error 10146]: Cannot truncate non-managed table db_name.table_name"外部表:hive只管理元数据,hdfs管理实际数据文件,删除表的时候只删除了元数据数据文件还在;hdfs dfs -rm -f 路径/*

chimchim66的博客 1056

Hive面试题汇总

Hive是大数据领域常用的数据仓库工具,具有以下特点:1)数据存储在HDFS上,元数据可存储在MySQL等数据库中;2)擅长处理PB级数据但不支持行级更新;3)提供内部表(删除表同时删除数据)和外部表(仅删除元数据)两种表类型。Hive常用操作包括排序(SortBy/OrderBy)、分组(DistributeBy/ClusterBy)及各类转换函数(行转列CONCAT、列转行EXPLODE等)。当内置函数不足时,可通过UDF(一进一出)、UDAF(多进一出)和UDTF(一进多出)进行扩展。针对数据倾斜问题

zh_19995的博客 802

Hive学习总结(版本:1.2.1)

1、Hive架构 Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。 用户接口:Client CLI(hive shell)⃝JDBC/ODBC(java 访问 hive)⃝WEBUI(浏览器访问 hive) 元数据:Metastore 元数据包括:表名、表所属的数据库(默认是 default)表的所有者 列/分区字段 表的类型(是否是外部表)表的数据所在目录等; 默认存储在

J1NX1N的博客 446

hive专题面试总结

1. UDF函数分为普通UDF、聚合UDAF和表生成UDTF三种;2. 三种建表方式:基础CREATE TABLE、CTAS查询创建和LIKE克隆表结构;3. NULL存储为\N,与空字符串/零值不同;4. collect_list保留重复元素,collect_set去重;5. 内存溢出可通过数据重分布、增加内存参数解决;6. 四种BY操作各有特点7. 性能调优包括分区/分桶、JVM重用、并行化等策略;8. 支持6种JOIN方式注意半连接与普通左连接的区别;9. 内部表由Hive管理数据,外部表仅管理元数据

2401_87332612的博客 906

hive面试题汇总

1. Hive和数据库比较 Hive 和数据库除了拥有类似的查询语言,再无类似之处。 1)数据存储位置 Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。 2)数据更新 Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的, 3)执行延迟 Hive 执行延迟较高。数据库的执行延迟较低。当然,这个是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive的并行计算显然能体现出优势。 4)数据规模 Hive支持很大规模的数据计算;数据库可以支持的数据

Wuyikkk的博客 700

Hive总结

1 Hive的架构 2 Hive和数据库比较 Hive和数据库除了拥有类似的查询语言,再无类似之处。 1)数据存储位置 Hive存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。 2)数据更新 Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的, 3)执行延迟 Hive执行延迟较高。数据库的执行延迟较低。当然,这个是有条件的,即数据规模较...

Faded1573606285的博客 312

HIVE 基础知识

hive 其实是一个客户端,类似于navcat、plsql 这种,不同的是Hive 是读取 HDFS 上的数据,作为离线查询使用,离线就意味着速度很慢,有可能跑一个任务需要几个小时甚至更长时间都有可能。 在日常开发中 Hive 用的还是挺广泛的,常做一些统计工作,就我自己工作来看其实 80% 的工作由 Hive 的基础部分就能完成了,只有很少的情况需要用到一些复杂查询或者调优工作。 本文着重挑选出...

大树下那片阴凉 1016
上一篇: 【Hive总结】3.Hive安装
下一篇: 【Hive总结】5 分区表
Rita楠神
博客等级 码龄9年 27粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值