HIve
关注
分享
扫一扫
文章平均质量分 85
深入探讨 Hive 的架构、特性、用途及其与传统数据库的对比。
数据与算法架构提升之路
我是一名专注于AI和数据架构的技术专家，拥有扎实的编程与数学基础。在大数据框架重构和底层源码开发方面积累了丰富经验，擅长自动驾驶、数据架构和深度学习等领域的研究与实践。目前，我主要从事数据AI架构相关工作，并曾在新能源汽车行业积累了深厚的技术背景。对技术创新和持续学习充满热情，致力于推动前沿技术的应用与发展。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive SQL进阶：掌握这些SQL查询技巧，让你的数据报告更加精准和高效！
这份文档提供了一系列的SQL查询示例，用于解决数据分析中的常见问题，如用户活跃度、留存率、销售统计等。通过这些示例，用户可以学习如何使用SQL进行高效的数据查询和分析。原创 2024-08-05 12:37:12 · 1116 阅读 · 0 评论 -
Hive自定义UDAF实战：打造考勤记录压缩神器，轻松管理员工出勤数据！
UDF:单行进入，单行输出UDAF:多行进入，单行输出UDTF:单行输入，多行输出原创 2023-12-13 16:31:33 · 658 阅读 · 0 评论 -
Hive SQL进阶：掌握间隔连续查询技巧，优化大数据分析
窗口函数 SUM(...) OVER(...) 的工作方式是在指定的窗口内累加值。在这种情况下，窗口是由 PARTITION BY user_id ORDER BY dt 定义的，这意味着：累加是在每个 user_id 分区内独立进行的，所以不同用户的累加是隔离的。在每个分区内，累加是按照日期 dt 的顺序进行的原创 2023-12-09 21:54:40 · 1208 阅读 · 0 评论 -
Hive on Spark下row_number()问题排查
涉及hive3.1.2原生的bug，在做row_number(partition by 字段A)排序之前，如发生cast( 字段A as 类型B) as 字段A情况，那分区排序结果是有问题的原创 2022-09-14 14:22:52 · 1972 阅读 · 2 评论 -
Spark on Hive动态分区表的应用
运行Spark的时候，同时跑多个任务对同一张表（parquet格式），同时写多个Hive分区，需要加一下参数set("spark.sql.hive.convertMetastoreParquet","false");这样的话，所使用的spark临时目录就是独立（静态分区默认共用一个临时目录），不会冲突。 如果是orc格式，里面的关键字改成Orc就行。原创 2023-03-31 15:01:17 · 1730 阅读 · 0 评论 -
Hive修复分区或修复表 以及msck命令的使用
hive里有数据，MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失。可以使用msck repair table xxxxx命令修复！原创 2023-02-14 10:16:11 · 1558 阅读 · 0 评论 -
Hive lateral view和get_json_object,json_tuple 用法
Hive lateral view ,get_json_object,json_tuple 用法原创 2022-09-02 18:16:07 · 980 阅读 · 0 评论 -
Hive的分区和分桶介绍
Hive的分区和分桶介绍原创 2022-11-28 21:10:35 · 471 阅读 · 0 评论 -
Hive合并小文件的配置项
j减少小文件策略：启动压缩, 启动合并，减少map数,shuffle合并,reduce合并,使用HAR归档文件原创 2022-04-28 00:17:34 · 1232 阅读 · 0 评论 -
Hive中json 字符串解析之 get_json_object 与 json_tuple
hive 中 json 字符串解析原创 2022-04-18 17:43:43 · 8671 阅读 · 0 评论 -
Hive常见开窗函数的实际应用
在15道Hive SQL经典面试题里我们对hive的实战常用法，有了较为全面的认知。本文将围绕开窗函数进行升入的探讨原创 2021-04-08 21:08:27 · 682 阅读 · 0 评论 -
20道Hive SQL经典训练提升题
20道经典hive sql基础面试题原创 2021-08-01 15:21:35 · 2877 阅读 · 12 评论 -
Hive 中的explode , lateral view,lateral view stack
explode 和 lateral view这两个经常放在一起用原创 2023-04-21 15:49:41 · 534 阅读 · 0 评论