Hive 从0开始 （1）

最新推荐文章于 2025-12-06 10:24:48 发布
原创 最新推荐文章于 2025-12-06 10:24:48 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hive #数据仓库

本文介绍了如何在Windows上使用Derby初始化Hive，并通过实例演示了如何设置Hive环境，包括设置显示数据库和表头。主要关注Hive的表类型和基本操作。

什么是 Hive

在这里插入图片描述
在本次学过程中，因个人本机windows mysql存在问题，所以采用的是derby初始化的Hive
首先进入
在这里插入图片描述
apache-hive-3.1.2-bin
的bin目录
在这里插入图片描述
启动hive命令
在这里插入图片描述
set hive.cli.print.current.db=true (显示当前数据库)
set hive.cli.print.header=true (设置显示表头）

在这里插入图片描述
在这里插入图片描述

案例

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Hive中表类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

从0到1掌握大数据预处理：Hive_Spark SQL实战教程
AI架构全栈开发实战笔记
09-06 796
想象你是一位米其林餐厅的主厨，客人点了一道"数据炖牛腩"——这道菜的美味程度，不仅取决于你的烹饪技巧（数据分析/建模能力），更取决于你是否选对了牛腩（数据质量）、是否提前焯水去血沫（数据清洗）、是否切成大小均匀的块（数据标准化）。如果食材本身不新鲜、满是杂质，再厉害的厨师也做不出好菜。大数据预处理就是"数据料理"的准备阶段，包括数据收集、清洗、转换、集成、规约等操作，目的是将杂乱无章的原始数据（就像带泥的土豆、带血的肉）变成干净、规整、可用的"净菜"（分析就绪数据）。
hive中日期24小时制，转换补0
Mr.Zheng的博客
12-16 2803
背景 日期字符串 2020-02-02 2:00:00 如何在2点前面补0，成为2020-02-02 02:00:00。 select unix_timestamp('2020-02-02 2:02:02'), unix_timestamp('2020-02-02 02:02:02'); 看明白上面的查询结构就不难解决这个问题。 将返回结果再调用一次from_unixtime(timestamp,format) 即 from_unixtime(unix_timestamp('2020-02-02 2:02
hive正则：
changzoe的博客
05-09 2805
使用Hive做数据清洗，经常需要使用正则表达式。 比较讨厌的是，正则表达式匹配失败的时候，hive完全不会报错。 原来的写法 SELECT * from ahhs_product_info where product_name NOT RLIKE ‘([\u4e00-\u9fa5])+’ ; 在hive里面的写法 SELECT * from ahhs_product_info where...
Hive 从 0 到 1 学习 —— 第一章 Hive 入门
dwjf321的博客
01-16 2643
文章目录1. 什么是 Hive2. Hive 的优缺点2.1 优点2.2 缺点3. Hive 的架构原理4. Hive 和数据库比较4.1 查询语言4.2 数据存储位置4.3 数据更新4.4 索引4.5 执行4.6 执行延迟4.7 可扩展性4.8 数据规模 1. 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapRed
一. 从Hive开始
weixin_45032905的博客
09-04 1395
总结，大数据背景下，hdfs看起来想一个无限大的存储空间，mapreduce的思想充分利用所有的cpu和内存。所以hive中的一个核心模块就是metastore， 用来存储结构化的信息，也就是“数据的数据”，其实也是借用了传统文件系统的“metaData”（元数据）的概念。是一种特殊的语法，主要搭配UDTF类型函数一起使用，用于解决UDTF函数的限制（也即是爆炸的虚表没有和原表进行连接）然后hive的执行引擎会将sql进行语法分析，生成语法树，然后生成mapreduce程序，进行数据的计算工作。
hive 补0_Hive补充
weixin_30927801的博客
03-06 1825
Hive补充1.认知1.Mapreduce的客户端,避免写繁琐的MapReduce程序;2.metastore:原本的数据集和字段名称以及数据信息之间双射关系;3.Server-Hadoop;在操作Hive同时,需要将Hadoop的HDFS,YARN开启,MAPRED配置好.2.本地避免使用MapReduce设置:hive.fetch.task.conversionmoreSome select ...
Hive从0开始 (2)
Fishwetmaster的博客
12-06 799
Hive
Hive从入门到高级
默主归沙的博客
03-26 2710
目录 一、Hive的简介 1.1 出现的原因 1.2 hive是什么 1.3 Hive的优缺点 二、hive的框架原理(重点) 二、hive的框架原理(重点) 2.1 hive的框架结构 2.2 hive的运行原理 2.3 hive和hadoop的关系 2.4 Hive与关系型数据库的比较 三、hive的安装模式 3.3 远程模式 3.3.1 概念 3.3.2 hive的服务端的配置 3.3.3 服务项的启动操作 3.3.4 客户端连接hiveserver2 3.3.5
hive 补0_HIVE SQL常用函数总结
weixin_30538955的博客
02-15 2629
前言：整理了一些常见的SQL的函数用法(HIVE中)，主要包括如下：regexpextract函数get_object_json函数rownumber() over函数date_sub函数、date_add、datediff函数一、get_object_json 函数应用场景：提取以json字符串的方式存储的数据非结构化数据种类很多，日常的图片，视频都算是非结构化数据，而在数据库中，我们经常用到的...
Hive 从 0 到 1 学习 —— 第八章 Hive 查询函数
dwjf321的博客
01-16 1921
文章目录1. 系统内置函数2. 常用函数2.1 指标函数2.2 collect_set 函数2.3 日期处理函数2.4 字符串连接函数2.5 json 解析函数3. 其他常用查询函数3.1 空字段赋值3.2 CASE WHEN3.3 行转列3.4 列转行3.5 窗口函数3.6 Rank4. 自定义函数5. 自定义 UDF 函数6. 自定义 UDTF 函数6.1 自定义 UDTF 步骤6.2 具体实现 1. 系统内置函数 查看系统自带的函数 hive> show functions; 显示自带
centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建（仅供参考）
05-03
- 下载Hive 3.1.2的安装包，通常可以从Apache官网获取。 - 配置Hive的核心配置文件（如`hive-site.xml`），指定Hive所使用的Hadoop版本。 - 设置Hive Metastore服务，并启动Hive服务。 ### 总结 通过上述步骤，...
Ubuntu下搭建伪分布式从0开始安装Hive详细教程（从JDK安装、Hadoop搭建开始）
皮埃尔的博客
05-01 8908
Ubuntu下搭建伪分布式从0开始安装Hive详细教程（从JDK安装、Hadoop搭建开始）
对称美学-od
用来自己学习，复习
12-04 388
就是第 i 个字符串 = 第 i - 1 号字符串的取反 + 第 i - 1 号字符串;取反(R->B, B->R);现在告诉你 n 和 k，让你求得第 n 个字符串的第 k 个字符是多少。根据规律：S(n) = invert(S(n-1)) + S(n-1)长度 L(n) = 2^(n-1)，前半长度 = 2^(n-2)重复这个过程，直到 n = 1，S1 = "R"接下里输入T行，每行输入两个数字，表示n, k。第 4 个字符串：BRRBRBBR。第 2 个字符串：BR。第 1 个字符串：R。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1277
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
国产时序数据库供应商排名
weixin_43836476的博客
12-04 404
测试显示，在处理海量数据时，TDengine的压缩比可达10:1 - 50:1，大幅减少了存储空间。： 提供了丰富的客户端工具和开发接口，支持多种编程语言，如Python、Java、C++等，方便开发者进行集成和二次开发。： 在监控领域有较高的知名度和市场占有率，很多企业的监控系统采用OpenTSDB来存储和分析时序数据，尤其是在互联网企业的运维监控场景中应用较为普遍。它提供了简单易用的SQL接口，与常见的数据分析工具如Grafana等有良好的集成，生态系统在不断完善。
祝贺朱雀三号首飞成功入轨！国产时序数据库 IoTDB 助力火箭试验
qin_DB的博客
12-05 645
朱雀三号首飞成功入轨，为国家航天运力体系增添了一款性能先进、潜力巨大的新型主力火箭，补强了我国大运力、低成本、高频次进入空间的运载能力，精准响应了国家卫星互联网星座工程建设大规模组网的迫切需求。本次首飞任务不仅检验了朱雀三号总体方案、动力系统、飞控系统、结构与航电系统的正确性和可靠性，也获取了真实飞行状态下的大量关键工程参数。，带回了真实飞行条件下的重要工程参数，为后续型号优化设计、提升整体可靠性、实现子级回收及重复使用奠定了重要基础。每一次成功的首飞，都是无数次试验和无数条数据的积累。
分布式锁实现方案Redis和Zookeeper对比实战
最新发布
在代码的世界里，每天进步1%
12-06 925
方案推荐场景学习原理Redisson生产环境首选强一致性要求互斥性：同一时刻只有一个客户端持有锁防死锁：客户端崩溃锁能自动释放可重入：同一线程可多次获取高可用：锁服务不能单点故障有问题评论区交流~
ElasticSearch索引red，关键字 Too many open files
weixin_42566359的博客
12-04 173
摘要：当Elasticsearch索引状态显示为red时，若发现"Too many open files"错误，表明主机文件句柄数不足。
国产时序数据库哪个靠谱
weixin_43836476的博客
12-04 259
在国产时序数据库领域，当前面临着诸多技术挑战。一方面，数据的高并发写入与查询处理能力不足。随着物联网、工业互联网等领域的快速发展，设备产生的数据量呈爆炸式增长，传统数据库难以应对每秒数万甚至数十万条数据的写入请求。测试显示，部分传统数据库在高并发场景下，写入性能会急剧下降，每秒写入数据量仅能维持在数千条，严重影响了数据的实时采集与存储。另一方面，数据存储成本过高。时序数据具有海量、高冗余的特点，传统数据库的存储方式会占用大量的磁盘空间，增加了企业的硬件采购与维护成本。数据表明，一些传统数据库存储相同规模的时
hive 从右边截取第四位
09-18
Hive的字符串函数基于Java语法，索引从1开始，与其他SQL方言一致。 - **参考依据**：引用中提到SUBSTR函数可用于截取操作[^2]，而反转方法在截取指定字符后的数据时有效[^3]。 如果您有更多细节（如表名或特定场景...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值