
hivesql
文章平均质量分 81
烟解愁、酒上头
这个作者很懒,什么都没留下…
展开
-
Hive 3.1.2 数仓基本概念 大致分层
数据仓库的基本概念数据库和数据仓库的区别:数据库 On-Line Transaction Processing(OLTP):存储数据的仓库 一般用于事务操作,主要是用于捕获数据 要求延迟性较低数据仓库 On-Line Analytical Processing(OLAP):存储数据的仓库 吗,面向于主题(分析)的,一般是保存过去的历史数据,主要是对这些数据进行统计分析,对未来提供决策支持,一般对延迟没有特备要求何为数据分析呢?指的从数据容器中,根据需求要求获取相关的数据的过程(数据查询操作)原创 2021-09-25 20:57:09 · 677 阅读 · 0 评论 -
Hive的相关优化
1、hive的相关优化1.1 hive的压缩配置压缩有什么用?'好处': 在有限的空间下,存储更多的资源'坏处': 压缩和解压需要消耗额外的资源 通过压缩 优化MR 提升效率位置一: 'map阶段的输出结果上' '好处一':当reduce在拉取数据的时候,由于数据已经压缩,所以整个数据量减少,从而减少网络带宽,提升拉取的效率 '好处二':在一些特殊情况下,整个MR只有map 没有reduce的,此时map输出的结果就是最终的结果,对结果进行压缩,减少磁盘存储,提升磁盘利用率位置原创 2021-10-06 07:41:33 · 267 阅读 · 0 评论 -
HIVE的参数配置、行转列 列转行 json相关 窗口函数
1、Hive的参数配置./hive 是hive的第一代客户端,次客户端,主要有两大作用 用于执行一些交互式或者批处理的操作,第二大作用,是用于启动hive的各项服务第一大作用:交互式(了解)./hive 进入交互式 进入之后,可以在客户端内部,不断和hive进行相关操作,在一个会话中,可以不断和hive进行交互批处理 批处理: 指的在不进入hive的交互窗口下, 即可操作hive, 主要是linux的命令行下操作 好处: 主要的目的是为了后续在linux的脚本中连接hive进行原创 2021-10-06 05:51:53 · 946 阅读 · 0 评论 -
HIVE的 “DDL其他语法、DML语法、DQL语法、高阶排序、join相关内容”
1、DDL其他语法说明都对库的相关操作-- 创建库的语法:create database [if not exists] database_name;-- 查看库的详细信息:携带上extended会看到更为详细的库信息describe database [extended] db_name;-- 查看所有的库show database;-- 如何使用库use db_name;-- 如何删除库drop database db_name;对于表的相关的操作:show ta原创 2021-10-03 18:15:50 · 242 阅读 · 0 评论