Hive 从0开始 （1）

最新推荐文章于 2025-12-06 10:24:48 发布
原创 最新推荐文章于 2025-12-06 10:24:48 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hive #数据仓库

本文介绍了如何在Windows上使用Derby初始化Hive，并通过实例演示了如何设置Hive环境，包括设置显示数据库和表头。主要关注Hive的表类型和基本操作。

什么是 Hive

在这里插入图片描述
在本次学过程中，因个人本机windows mysql存在问题，所以采用的是derby初始化的Hive
首先进入
在这里插入图片描述
apache-hive-3.1.2-bin
的bin目录
在这里插入图片描述
启动hive命令
在这里插入图片描述
set hive.cli.print.current.db=true (显示当前数据库)
set hive.cli.print.header=true (设置显示表头）

在这里插入图片描述
在这里插入图片描述

案例

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Hive中表类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

从0到1掌握大数据预处理：Hive_Spark SQL实战教程
AI架构全栈开发实战笔记
09-06 796
想象你是一位米其林餐厅的主厨，客人点了一道"数据炖牛腩"——这道菜的美味程度，不仅取决于你的烹饪技巧（数据分析/建模能力），更取决于你是否选对了牛腩（数据质量）、是否提前焯水去血沫（数据清洗）、是否切成大小均匀的块（数据标准化）。如果食材本身不新鲜、满是杂质，再厉害的厨师也做不出好菜。大数据预处理就是"数据料理"的准备阶段，包括数据收集、清洗、转换、集成、规约等操作，目的是将杂乱无章的原始数据（就像带泥的土豆、带血的肉）变成干净、规整、可用的"净菜"（分析就绪数据）。
hive中日期24小时制，转换补0
Mr.Zheng的博客
12-16 2803
背景 日期字符串 2020-02-02 2:00:00 如何在2点前面补0，成为2020-02-02 02:00:00。 select unix_timestamp('2020-02-02 2:02:02'), unix_timestamp('2020-02-02 02:02:02'); 看明白上面的查询结构就不难解决这个问题。 将返回结果再调用一次from_unixtime(timestamp,format) 即 from_unixtime(unix_timestamp('2020-02-02 2:02
hive正则：
changzoe的博客
05-09 2805
使用Hive做数据清洗，经常需要使用正则表达式。 比较讨厌的是，正则表达式匹配失败的时候，hive完全不会报错。 原来的写法 SELECT * from ahhs_product_info where product_name NOT RLIKE ‘([\u4e00-\u9fa5])+’ ; 在hive里面的写法 SELECT * from ahhs_product_info where...
Hive 从 0 到 1 学习 —— 第一章 Hive 入门
dwjf321的博客
01-16 2643
文章目录1. 什么是 Hive2. Hive 的优缺点2.1 优点2.2 缺点3. Hive 的架构原理4. Hive 和数据库比较4.1 查询语言4.2 数据存储位置4.3 数据更新4.4 索引4.5 执行4.6 执行延迟4.7 可扩展性4.8 数据规模 1. 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapRed
一. 从Hive开始
weixin_45032905的博客
09-04 1395
总结，大数据背景下，hdfs看起来想一个无限大的存储空间，mapreduce的思想充分利用所有的cpu和内存。所以hive中的一个核心模块就是metastore， 用来存储结构化的信息，也就是“数据的数据”，其实也是借用了传统文件系统的“metaData”（元数据）的概念。是一种特殊的语法，主要搭配UDTF类型函数一起使用，用于解决UDTF函数的限制（也即是爆炸的虚表没有和原表进行连接）然后hive的执行引擎会将sql进行语法分析，生成语法树，然后生成mapreduce程序，进行数据的计算工作。
hive 补0_Hive补充
weixin_30927801的博客
03-06 1825
Hive补充1.认知1.Mapreduce的客户端,避免写繁琐的MapReduce程序;2.metastore:原本的数据集和字段名称以及数据信息之间双射关系;3.Server-Hadoop;在操作Hive同时,需要将Hadoop的HDFS,YARN开启,MAPRED配置好.2.本地避免使用MapReduce设置:hive.fetch.task.conversionmoreSome select ...
Hive从0开始 (2)
Fishwetmaster的博客
12-06 799
Hive
Hive从入门到高级
默主归沙的博客
03-26 2710
目录 一、Hive的简介 1.1 出现的原因 1.2 hive是什么 1.3 Hive的优缺点 二、hive的框架原理(重点) 二、hive的框架原理(重点) 2.1 hive的框架结构 2.2 hive的运行原理 2.3 hive和hadoop的关系 2.4 Hive与关系型数据库的比较 三、hive的安装模式 3.3 远程模式 3.3.1 概念 3.3.2 hive的服务端的配置 3.3.3 服务项的启动操作 3.3.4 客户端连接hiveserver2 3.3.5
hive 补0_HIVE SQL常用函数总结
weixin_30538955的博客
02-15 2629
前言：整理了一些常见的SQL的函数用法(HIVE中)，主要包括如下：regexpextract函数get_object_json函数rownumber() over函数date_sub函数、date_add、datediff函数一、get_object_json 函数应用场景：提取以json字符串的方式存储的数据非结构化数据种类很多，日常的图片，视频都算是非结构化数据，而在数据库中，我们经常用到的...
Hive 从 0 到 1 学习 —— 第八章 Hive 查询函数
dwjf321的博客
01-16 1921
文章目录1. 系统内置函数2. 常用函数2.1 指标函数2.2 collect_set 函数2.3 日期处理函数2.4 字符串连接函数2.5 json 解析函数3. 其他常用查询函数3.1 空字段赋值3.2 CASE WHEN3.3 行转列3.4 列转行3.5 窗口函数3.6 Rank4. 自定义函数5. 自定义 UDF 函数6. 自定义 UDTF 函数6.1 自定义 UDTF 步骤6.2 具体实现 1. 系统内置函数 查看系统自带的函数 hive> show functions; 显示自带
centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建（仅供参考）
05-03
- 下载Hive 3.1.2的安装包，通常可以从Apache官网获取。 - 配置Hive的核心配置文件（如`hive-site.xml`），指定Hive所使用的Hadoop版本。 - 设置Hive Metastore服务，并启动Hive服务。 ### 总结 通过上述步骤，...
Ubuntu下搭建伪分布式从0开始安装Hive详细教程（从JDK安装、Hadoop搭建开始）
皮埃尔的博客
05-01 8908
Ubuntu下搭建伪分布式从0开始安装Hive详细教程（从JDK安装、Hadoop搭建开始）
对称美学-od
用来自己学习，复习
12-04 388
就是第 i 个字符串 = 第 i - 1 号字符串的取反 + 第 i - 1 号字符串;取反(R->B, B->R);现在告诉你 n 和 k，让你求得第 n 个字符串的第 k 个字符是多少。根据规律：S(n) = invert(S(n-1)) + S(n-1)长度 L(n) = 2^(n-1)，前半长度 = 2^(n-2)重复这个过程，直到 n = 1，S1 = "R"接下里输入T行，每行输入两个数字，表示n, k。第 4 个字符串：BRRBRBBR。第 2 个字符串：BR。第 1 个字符串：R。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1283
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
国产时序数据库供应商排名
weixin_43836476的博客
12-04 406
测试显示，在处理海量数据时，TDengine的压缩比可达10:1 - 50:1，大幅减少了存储空间。： 提供了丰富的客户端工具和开发接口，支持多种编程语言，如Python、Java、C++等，方便开发者进行集成和二次开发。： 在监控领域有较高的知名度和市场占有率，很多企业的监控系统采用OpenTSDB来存储和分析时序数据，尤其是在互联网企业的运维监控场景中应用较为普遍。它提供了简单易用的SQL接口，与常见的数据分析工具如Grafana等有良好的集成，生态系统在不断完善。
祝贺朱雀三号首飞成功入轨！国产时序数据库 IoTDB 助力火箭试验
qin_DB的博客
12-05 646
朱雀三号首飞成功入轨，为国家航天运力体系增添了一款性能先进、潜力巨大的新型主力火箭，补强了我国大运力、低成本、高频次进入空间的运载能力，精准响应了国家卫星互联网星座工程建设大规模组网的迫切需求。本次首飞任务不仅检验了朱雀三号总体方案、动力系统、飞控系统、结构与航电系统的正确性和可靠性，也获取了真实飞行状态下的大量关键工程参数。，带回了真实飞行条件下的重要工程参数，为后续型号优化设计、提升整体可靠性、实现子级回收及重复使用奠定了重要基础。每一次成功的首飞，都是无数次试验和无数条数据的积累。
分布式锁实现方案Redis和Zookeeper对比实战
最新发布
在代码的世界里，每天进步1%
12-06 927
方案推荐场景学习原理Redisson生产环境首选强一致性要求互斥性：同一时刻只有一个客户端持有锁防死锁：客户端崩溃锁能自动释放可重入：同一线程可多次获取高可用：锁服务不能单点故障有问题评论区交流~
ElasticSearch索引red，关键字 Too many open files
weixin_42566359的博客
12-04 173
摘要：当Elasticsearch索引状态显示为red时，若发现"Too many open files"错误，表明主机文件句柄数不足。
国产时序数据库哪个靠谱
weixin_43836476的博客
12-04 261
在国产时序数据库领域，当前面临着诸多技术挑战。一方面，数据的高并发写入与查询处理能力不足。随着物联网、工业互联网等领域的快速发展，设备产生的数据量呈爆炸式增长，传统数据库难以应对每秒数万甚至数十万条数据的写入请求。测试显示，部分传统数据库在高并发场景下，写入性能会急剧下降，每秒写入数据量仅能维持在数千条，严重影响了数据的实时采集与存储。另一方面，数据存储成本过高。时序数据具有海量、高冗余的特点，传统数据库的存储方式会占用大量的磁盘空间，增加了企业的硬件采购与维护成本。数据表明，一些传统数据库存储相同规模的时
hive 从右边截取第四位
09-18
<think> 首先，用户的问题是关于Hive SQL的：他们想查找在Hive中从右边截取第四位的方法。具体来说，是如何从字符串的右侧截取第四位字符。 回顾用户提供的引用： - 引用[1]：讨论了截取字符串前三位的方法。[^1] - 引用[2]：展示了从指定位置截取到最后一位的方法，使用SUBSTR函数。[^2] - 引用[3]：描述了截取特定字符（如点号）后面的数据，使用了反转字符串的技巧。[^3] 用户的需求是从右边截取第四位，意思是获取字符串末尾的第四个字符。例如，对于字符串 "abcdefg"，从右边截取第四位应该是 "d"（倒数第四位）。 在Hive SQL中，没有直接的内置函数来从右侧截取特定位置的字符。常见的做法是使用SUBSTR函数配合字符串长度计算来实现这一点。 让我回忆SUBSTR函数的语法： - SUBSTR(str, start, length)：从字符串str的start位置开始截取length长度的子串。 - 如果省略length，则从start截取到结尾。 - 位置索引从1开始。 要从右侧截取第四位： - 右侧第一位是最后一个字符，右侧第二位是倒数第二个字符，以此类推。 - 所以，右侧第四位对应于正向索引中的 length - 3 + 1。 - 例如，字符串长度len，右侧第n位的位置是 len - n + 1。 具体步骤： 1. 计算字符串的长度，使用LENGTH函数。 2. 确定从右侧第四位的起始位置：len - 3（因为位置索引从1开始）。 - 对于右侧第一位：位置 len - 右侧第二位：位置 len-1 - 右侧第三位：位置 len-2 - 右侧第四位：位置 len-3 3. 使用SUBSTR(str, start, 1) 截取单个字符。 所以，公式是：SUBSTR(column_name, LENGTH(column_name) - 3, 1) 在实际使用中，需要考虑字符串长度是否足够： - 如果字符串长度小于4，截取右侧第四位可能不存在，需要处理边界情况（例如返回null或空字符串）。 用户引用了[3]，其中使用了反转字符串的方法来截取最后一个点号后的数据。这种方法也可以用于从右侧截取特定位置，但可能overkill，因为直接计算位置更简单。 在[3]中，示例是： reverse(substr(reverse(str), 0, instr(reverse(str), '.') - 1)) 这反转字符串后，找到第一个分隔符的位置，然后截取。 对于从右侧截取第四位，反转方法可以是： - 反转字符串：reverse(str) - 然后截取反转后的字符串的第四位，即SUBSTR(reverse(str), 4, 1) - 最后再反转回去？不，如果只需要一个字符，反转后截取第四位就是从原字符串右侧第四位。 简化： - 反转字符串：rev_str = REVERSE(str) - 然后SUBSTR(rev_str, 4, 1) 就可以得到原字符串右侧第四位。 例如： str = "abcdefg" (length 7) reverse(str) = "gfedcba" SUBSTR(reverse(str), 4, 1) = "d"（索引4是'd'，对应于原串右侧第四位） 这不需要再反转，因为截取的是单个字符。 直接方法： SUBSTR(str, LENGTH(str) - 3, 1) 两种方法都可行，直接方法更高效，因为没有反转操作。 在回答中，我应该给出清晰的解决方案。 系统指令： - 所有行内数学表达式用$...$ - 独立公式用$$...$$（但这里可能不需要复杂的数学公式） - LaTeX语法正确 - 使用中文回答 - 生成相关问题 - 引用段落末尾添加引用标识 - 回答结构清晰，逐步解决问题 用户的需求是基于他们的查询："我想查找在Hive中从右边截取第四位的方法" 我应该先确认理解："您想获取字符串从右侧开始的第四个字符。" 然后提供方法： 1. 直接使用SUBSTR和LENGTH函数。 2. 使用反转方法作为备选。 引用提供的材料： - 引用[2]提到SUBSTR函数。 - 引用[3]使用反转方法，适用于更复杂场景如截取最后一个分隔符后。 在回答中，自然地添加引用。 最后，生成相关问题。 步骤规划： 1. 介绍问题：在Hive SQL中，如何从字符串右侧截取第四位字符。 2. 解释方法一：使用SUBSTR和LENGTH。 - 公式：SUBSTR(column_name, LENGTH(column_name) - 3, 1) - 解释位置计算。 3. 方法二：使用反转字符串（参考[3]）。 - 公式：SUBSTR(REVERSE(column_name), 4, 1) - 说明这可以直接得到字符。 4. 考虑边界情况：如果字符串长度小于4，建议处理。 5. 示例SQL查询。 6. 相关问题。 确保LaTeX：例如，在解释位置时，可以说位置索引从1开始，右侧第n位的位置是 $\text{len} - n + 1$。 独立公式：如果需要公式，用$$...$$，但这里可能简单行内即可。 回答结构： - 开头：理解用户需求。 - 解决方案：逐步解释。 - 结论：总结。 - 相关问题。 引用： - 当提到SUBSTR函数时，引用[2]。 - 当提到反转方法时，引用[3]。 用户还提到"参考用户上一次的问题和你的回答"，但在这个对话中，这是第一次交互（根据上下文），用户是直接给出引用和问题。所以，我会基于当前消息。 最终回答。 </think> ### 在Hive中从右边截取第四位字符的方法 在Hive SQL中，从字符串右侧截取第四位字符（即倒数第四个字符）是一个常见需求。Hive没有直接的内置函数支持从右侧截取特定位置，但我们可以利用 `SUBSTR` 函数配合 `LENGTH` 函数或 `REVERSE` 函数来实现。下面我将逐步解释两种可靠的方法，并考虑边界情况（如字符串长度不足时的处理）。所有方法均基于Hive的标准SQL语法。 #### 方法一：使用 `SUBSTR` 和 `LENGTH` 函数（推荐，高效） 这种方法直接计算字符串长度来确定右侧第四位的起始位置： 1. **位置计算原理**： - 字符串索引从1开始。 - 右侧第一位（最后一个字符）的位置是 $\text{length} - 0$。 - 右侧第四位的位置是 $\text{length} - 3$（因为索引递减：右侧第一位为索引 $\text{length}$，第二位为 $\text{length}-1$，第三位为 $\text{length}-2$，第四位为 $\text{length}-3$）。 - 因此，起始位置公式为： $\text{LENGTH}(str) - 3$。 2. **SQL实现**： - 使用 `SUBSTR(str, start_pos, length)` 函数，其中 `start_pos` 设为 $\text{LENGTH}(str) - 3$，`length` 设为1（截取单个字符）。 - 基础语法： ```sql SELECT SUBSTR(column_name, LENGTH(column_name) - 3, 1) AS right_fourth_char FROM table_name; ``` - **边界处理**：如果字符串长度小于4，结果将为 `NULL`（或可使用 `CASE WHEN` 自定义）。例如： ```sql SELECT CASE WHEN LENGTH(column_name) >= 4 THEN SUBSTR(column_name, LENGTH(column_name) - 3, 1) ELSE NULL -- 或替换为默认值，如 '' END AS right_fourth_char FROM table_name; ``` 此方法简单高效，不需要额外函数调用，推荐在大多数场景使用[^2]。 #### 方法二：使用 `REVERSE` 函数（备选，适用于复杂截取） 如果字符串处理涉及更复杂的模式（如截取最后一个分隔符后的内容），可以参考反转字符串的方法： 1. **反转原理**： - 反转字符串后，右侧第四位变为左侧第四位。 - 公式：反转字符串 → 截取第四位 → 得到原字符串右侧第四位（无需再反转，因为截取的是单个字符）。 2. **SQL实现**： - 使用 `REVERSE(str)` 反转字符串，然后 `SUBSTR(reversed_str, 4, 1)` 截取第四位。 - 基础语法： ```sql SELECT SUBSTR(REVERSE(column_name), 4, 1) AS right_fourth_char FROM table_name; ``` - **边界处理**：同样添加长度检查： ```sql SELECT CASE WHEN LENGTH(column_name) >= 4 THEN SUBSTR(REVERSE(column_name), 4, 1) ELSE NULL END AS right_fourth_char FROM table_name; ``` 此方法在需要处理动态分隔符时更灵活，但效率略低（反转操作增加开销），适合参考引用中的复杂场景[^3]。 #### 示例演示 假设字符串为 `"abcdefg"`（长度7）： - 右侧第四位应为 `"d"`。 - 方法一查询： `SELECT SUBSTR('abcdefg', LENGTH('abcdefg') - 3, 1);` 返回 `"d"`。 - 方法二查询： `SELECT SUBSTR(REVERSE('abcdefg'), 4, 1);` 返回 `"d"`。 #### 总结 - **推荐方法**：优先使用 `SUBSTR` + `LENGTH`（方法一），因为它计算高效、直观。 - **注意事项**：始终检查字符串长度，避免空指针或无效结果。Hive的字符串函数基于Java语法，索引从1开始，与其他SQL方言一致。 - **参考依据**：引用中提到SUBSTR函数可用于截取操作[^2]，而反转方法在截取指定字符后的数据时有效[^3]。 如果您有更多细节（如表名或特定场景），我可以提供完整的SQL查询示例！ ### 相关问题 1. 如何在Hive中从右侧截取多个字符（如最后三位）？ 2. Hive SQL中如何处理字符串长度不足时的截取错误？ 3. 除了SUBSTR，Hive还有哪些常用字符串处理函数？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值