Hive学习笔记

Hadoop入门学习笔记——七、Hive语法 然后再查看SDS表中的数据,会发现SD_ID为14的数据,其对应的LOCATION的值为hdfs://node1:8020/user/hive/warehouse/myhive.db/score3/year=2019/month=10/day=01,通过这两个表实现了分区和HDFS系统中文件夹的对应,同时,也可以看到分区值已经变更了,但是HDFS中的物理存储路径没有变化。创建一个外部表,表名为test_ext1,由2个字段id和name构成,该表的数据分隔符为\t,在HDFS系统中的存储位置为。 阅读详情

由于工作需求,学习了 尚硅谷Hive教程1-41集,并根据课程内容整理以下笔记

1.基础知识

1.1概念

Hive:由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
本质是:将HQL转化成MapReduce程序

 
  • 1
  • 2
  • 3

1.2架构原理

在这里插入图片描述

1.3Hive和数据库比较

由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive 理解为数据库。
其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。

 
  • 1
  • 2

2.基本操作

2.1常用交互命令

hive -e "sql语句"	# 不进入hive交互窗口执行sql语句
hive -f xxx.sql		# 不进入hive交互窗口执行脚本中的sql语句

 
  • 1
  • 2

2.2其他命令操作

hive>exit;	# 退出hive窗口
hive>quit;	# 退出hive窗口
hive>dfs -ls /;	# 查看hdfs文件系统
hive>! ls /opt/module/datas;	# 查看本地文件系统
cat .hivehistory	# 查看在hive中输入的所有历史命令

 
  • 1
  • 2
  • 3
  • 4
  • 5

3.数据类型

3.1基本数据类型

在这里插入图片描述

3.2集合数据类型

在这里插入图片描述

4.DDL数据定义

4.1CRUD操作

create database db1 if not exists;
show databases;
desc database db1;	# 显示数据库信息
use db1;
alter database db1 set dbproperties('createtime'='20170830');	# 修改数据库
drop database db1 if exists db1;	# 删除空数据库
drop database db1 cascade;	# 强制删除非空数据库

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

4.2表

4.2.1建表

# 语法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]
# 实例
create table if not exists student2(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student2';

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

4.2.2表的分类

  1. 管理表
    默认创建的表都是管理表,有时也被称为内部表。Hive默认情况下会将这些表的数据存储在由配置项所定义的目录的子目录下。 当删除一个管理表时,Hive也会删除这个表中数据。管理表不适合和其他工具共享数据。
  2. 外部表 EXTERNAL
    删除该表并不会删除掉这份数据,不过描述表的元数据信息会被删除掉。
  3. 分区表
    分区表实际上就是对应一个HDFS文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。
# 创建分区表
create table dept_partition(
deptno int, dname string, loc string
)
partitioned by (month string)
row format delimited fields terminated by '\t';

# 单分区查询
select * from dept_partition where month='201709';
# 多分区联合查询
select * from dept_partition where month='201709'
  union
select * from dept_partition where month='201707';
# 创建单个分区
alter table dept_partition add partition(month='201706') ;
# 同时创建多个分区
alter table dept_partition add partition(month='201705') partition(month='201704');

# 删除单个分区
alter table dept_partition drop partition (month='201704');
# 同时删除多个分区
alter table dept_partition drop partition (month='201705'), partition (month='201706');

# 查看分区表有多少分区

show partitions dept_partition;
# 查看分区表结构

desc formatted dept_partition;
# 查询表结构

desc dept_partition;

# 添加列
alter table dept_partition add columns(deptdesc string);

# 替换列
alter table dept_partition replace columns(deptno string, dname string, loc string);

# 删除表
drop table dept_partition;

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41

注:alter只修改元数据,不修改实际数据

5.DML数据操作

load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)];

 
  • 1

(1)load data:表示加载数据
(2)local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表
(3)inpath:表示加载数据的路径
(4)overwrite:表示覆盖表中已有数据,否则表示追加
(5)into table:表示加载到哪张表
(6)student:表示具体的表
(7)partition:表示上传到指定分区

6.查询

方法同Mysql语法

  • 全局排序(Order By)
  • 每个MapReduce内部排序(Sort By)
  • 分区排序(Distribute By)
  • Cluster By(当distribute by和sorts by字段相同时可以使用cluster by)

7.其他

可参考博客:

Hive入门及常用指令
数据仓库中的拉链表(hive实现)
谓词下推

Hive操作笔记(呕心沥血制作) Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作) 立即下载

相关推荐

大数据之hive笔记

大数据hive的全部笔记,需要的小伙伴可以下载哦!如果没有积分也可以私信我哦

【Hive学习笔记】

文章目录1.基础知识1.1概念1.2架构原理1.3Hive和数据库比较2.基本操作2.1常用交互命令2.2其他命令操作3.数据类型3.1基本数据类型3.2集合数据类型4.DDL数据定义4.1CRUD操作4.2表4.2.1建表4.2.2表的分类5.DML数据操作6.查询7.其他 1.基础知识 1.1概念 Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL转化成MapRe

打瞌睡_的博客 1770

#Linux内存管理# 用一个案例详细介绍ARMv7-A架构 缺页中断处理的原理

跳转到异常向量:根据 异常向量表基地址(通常配置在 VBAR 寄存器中,例如 0xFFFF0000) + 数据中止异常的偏移量 0x10,跳转到数据中止异常的处理程序入口点 0xFFFF0010(实践中,这个入口通常是一条跳转到更复杂处理函数的指令)。malloc 通常不会立即分配物理内存页,它只是在内核为该进程维护的虚拟地址空间中找到一段足够大的空闲虚拟地址区域(比如 0x00008000 - 0x00008FFF),标记为已用,并返回起始地址(例如 0x00008000)给程序。

sinat_37817094的博客 993

Hive学习笔记2

本博客仅作学习记录所用,基于尚硅谷和黑马程序员做的笔记… Hive学习笔记1 Hive学习笔记3 在Hive中,当下版本3.1.2总共支持6种join语法。分别是: (内连接)、(左连接)、(右连接)、(全外连接)、(左半开连接)、(交叉连接,也叫做笛卡尔乘积)。这允许FROM子句连接以逗号分隔的表列表,而省略JOIN关键字。 例如: 等值Join 案例实操 (1)根据员工表和部门表中的部门编号相等,查询员工编号、员工名称和部门名称; 非等值连接 表的别名 好处 (1)使用别名可以简化查询。 (2

m0_55212193的博客 1366

硬件原理图:从软件思维到硬件接口的嵌入式开发破局指南

本文为软件开发者提供了读懂硬件原理图的嵌入式开发破局指南。文章将硬件原理图类比为“硬件系统的架构图”,引导读者将软件API调用思维迁移到硬件接口理解上,详细解析了电阻、电容、二极管等常见元器件的“硬件API”功能与选型逻辑,并通过实战电路拆解,阐述了从原理图分析到驱动代码编写的完整思维链条,帮助开发者建立软硬件协同的系统级视角。

lg888的博客 497

国产蓝牙MCU选型避坑指南:从汇顶到杰理,这7家厂商的实测体验

本文基于一线开发者对汇顶、泰凌微、沁恒、博通集成、奉加微、杰理、翱捷等七家主流国产蓝牙MCU厂商的实测体验,提供了一份详实的选型避坑指南。文章不仅对比了各厂商芯片的SDK质量、文档、开发工具与技术支持等“软实力”,还深入剖析了实际开发中可能遇到的功耗、射频、版本兼容性等核心痛点,并针对不同项目需求给出了具体的选型决策建议,旨在帮助工程师高效完成国产蓝牙MCU选型。

u5v6w7的博客 339

Hive学习笔记(by尚硅谷)

hive是由facebook开源,基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。hive是一个hadoop客户端,用于将hql(hive sql)转化成mapreduce程序。- hive中每张表的数据存储在hdfs- hive分析数据底层的实现是mapreduce(也可配置为spark或者tez)- 执行程序运行在yarn上1、创建数据库2、查询数据库注:like通配表达式,*表示任意个任意字符,|表示或的关系。3、查看数据库信息。

qq_42822177的博客 1039

从零到一:手把手教你用Verilog实现一个AHB-Lite总线主机(附完整代码)

本文详细介绍了如何使用Verilog从零开始实现一个AHB-Lite总线主机,涵盖协议解析、状态机设计、突发传输处理等关键环节,并提供完整代码示例。通过实战指南,帮助数字IC设计工程师掌握AMBA3.0总线协议的核心实现技术,提升SoC设计能力。

weixin_29209825的博客 365

【学习笔记】大数据技术之Hive(上)

大数据技术之Hive面试题1. Hive 基本概念1.1 什么是 Hive1.2Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive 和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive 安装2.1 Hive 安装地址2.2Hive 安装部署2.2.1 安装 Hive2.2.2 启动并使用 Hive2.3 MySQL 安装2.4 Hive 元数据配置到 MySQL2.4.1 拷贝驱动2.4.2 配置 Metasto

prague6695的博客 3598

C#WPF常用的9种布局方式详解

本文介绍WPF中常用的九种布局,Grid、StackPanel、WrapPanel、DockPanel、UniformGrid、Canvas、ScrollViewer、ViewBox、Border。

qq_30725967的博客 1万+

AUTOSAR CP R18-10 架构总览与导航

AUTOSAR CP R18-10 架构总览 本文档系统整理了AUTOSAR CP R18-10版本的199篇技术规范,涵盖7大架构层级: 应用层(15篇):包含车身舒适、底盘控制、HMI、安全系统、动力系统等AI应用 RTE(1篇):虚拟功能总线规范 服务层(159篇):细分为系统服务(OS/ECU管理/加密)、存储服务、通信服务(CAN/LIN/Ethernet) ECU抽象层(20篇):I/O与通信硬件抽象 MCAL(41篇):微控制器驱动层 复杂驱动(14篇):CDD设计与SPAL支撑 规范模板(2

一名留德华的,康德的信徒的,专注于汽车电子领域的博客 724

大数据技术之Hive------操作记录笔记

尚硅谷Hive学习

阿里里的博客 1732

kylinos-SP3的软件包降级到V10-SP1中的版本

如果想再次回退到原来版本,将repo改为原来的SP3版本,然后执行yum history 查看ID号,执行yum history rollback ID就可以恢复了。此时我们发现已安装的版本是1.32-2.ky10,而sp1网络源里的版本是1.30-11.ky10,我们将降级安装网络源中的低版本软件包。近期有个客户想要把kylinos-V10-sp3的软件包降级到kylinos-V10-SP1的版本。3、以tar包为例,查看已安装版本及网络源中其他版本。1、查看系统版本,确认是V10-SP3。

太极淘的博客 1103

Hive权威指南学习笔记

原文链接: Hive权威指南学习笔记

不清不慎的博客 420

Hermes Agent 安装部署完全指南

Hermes Agent安装部署指南提供了两种安装方式:一键脚本安装和手动分步安装。该AI助手支持多平台运行(Linux/macOS/WSL2),核心功能仅需Git作为前置依赖,其他依赖如Python、Node.js等均由安装脚本自动处理。文档详细介绍了系统要求、依赖管理、配置目录结构、环境变量设置以及10个手动安装步骤,并提供了功能模块化选项,用户可根据需求选择安装语音交互、浏览器自动化等扩展功能。安装完成后可通过hermes doctor命令验证环境,并通过交互式向导完成初始化配置。

简简单单Onlinezuozuo 2636

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Hive编程指南学习笔记(2)

我们可以使用describe extended financial.employee命令来查看这个表的详细表结构信息(如果当前所处的工作数据库就是financial,那可以不佳finanacial)。 如果使用formatted替代关键字extended的话,那可以得到更多的输出信息。 如果用户只想查看某一列的信息,那么只要在表名后增加这个字段的名称即可。这种情况下,使用extended关键字

iAm333的专栏 2171

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Hive学习笔记总结

http://www.cnblogs.com/wangrd/p/6275162.html Hive学习笔记总结

RP901011的博客 413

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

hive学习笔记

自己学习总结,学习交流加群460570824 什么是Hive:   Hive是基于Hadoop之上的数据仓库,数据存放在HDFS上,它同样可以通过ETL来进行数据的抽取、转换和加载。同时Hive可以自己开发Mapreduce程序来完成本身不能提供的数据处理操作。Hive本身就是一个SQL的解析引擎,他将SQL 语句转成Mapreduce任务在hadoop之上执行。   什么是数据仓库:

ab123456bcde的博客 349

【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化

Hive UDF开发流程继承UDF类或GenericUDF类重写evaluate()方法并实现函数逻辑编译打包为jar文件复制到正确的HDFS路径使用jar创建临时/永久函数调用函数1.创建一个Maven工程Hive2.导入依赖3.创建一个类方法一(创建临时函数):4.打成jar包上传到服务器/opt/testudf.jar5.将jar包添加到hive的classpath(linux路径)

一个老码农 1495

Hive学习笔记 1 Hive体系结构

本Hive学习笔记是观看慕课网赵强的教程后的笔记,教程地址:http://www.imooc.com/learn/387 什么是Hive? Hive是基于Hadoop HDFS之上的数据仓库,本质上就是一个数据库。 什么是数据仓库? 面向主题:数据仓库中的数据是用户进行数据分析时关心的数据 集成的:数据仓库中的数据是来自于分散的数据源,有可能来自于Mysql

陈杰 432

大数据框架之Hive学习笔记

大数据框架之Hive学习笔记

yiluohan0307的专栏 207

HIVE 学习笔记

1、hive建表语法中的分隔符设定 ROW FORMAT DELIMITED 分隔符设置开始语句 FIELDS TERMINATED BY:设置字段与字段之间的分隔符 COLLECTION ITEMS TERMINATED BY:设置一个复杂类型(array,struct)字段的各个item之间的分隔符 MAP KEYS TERMINATED BY:设置一个复杂类型(Map)字段的key

L聪记博客 559

hive学习笔记之七:内置函数

减法(-)、乘法(*)、除法(/)的使用与加法类似,不再赘述了;执行命令show functions;接下来从计算函数开始,体验常用函数;进入hive控制台;

2401_85125493的博客 1224
上一篇: MySQL数据库总结笔记第五章
下一篇: 数据库中常用术语:
OpenSource_
博客等级 码龄5年 48粉丝 68原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值