Hive的学习心得-个人理解什么是hive

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 3.1k累计阅读 3.2k平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄15年

关注

原创最新推荐文章于 2026-04-01 09:32:34 发布 3.1k 阅读 AI 写同款· GEO 优化 ›

【Hive】深入理解Hive的优缺点以及架构原理文章目录一、什么是Hive二、 Hive的优缺点2.1 优点2.2 缺点三、 Hive架构原理3.1 用户接口：Client3.2 元数据：Metastore3.3 结合Hadoop3.4 驱动器：Driver四、 Hive和数据库比较4.1 查询语言4.2 数据更新4.3 执行延迟4.4 数据规模一、什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序: （1）Hive处理的数据存储在阅读详情

          
          hive约等于sql+java→可以为所欲为的插入、查询读取数据。
hql约等于sql主语法+java部分语法（array，map，stuct，字符类型、contacts等）
hql约等于oracle里面的sql
shell约等于oracle中的存储过程+job定时任务（同样定时执行）
自定义函数约等于用java写oralce里面的自定义函数

收录于

hadoop

当前文章被收录于：

hadoop

33 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#hive #hql #心得 #理解 #总结

Hive的安装配置及原理完美解决解压hive缺少hive-site.xml文件，和安全模式无法启动hive等问题 Hive原理 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hvie是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工... 阅读详情

相关推荐

深入理解 Hadoop 上的 Hive 查询执行流程

在 Hadoop 生态系统中，Hive 是一个重要的分支，它构建在 Hadoop 之上，提供了一个开源的数据仓库系统。它的主要功能是查询和分析存储在 Hadoop 文件中的大型数据集，包括结构化和半结构化数据。Hive 在数据查询、分析和汇总方面发挥着关键作用，同时也有助于提高开发人员的生产力。然而，这种增加的生产力是以增加延迟和降低效率为代价的。换句话说，Hive 可以被看作是 SQL 的一种变体，而且它确实是一种非常好的 SQL 变体。

KKwan的博客 2055

Hive个人心得笔记

Hive个人心得笔记一、Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛需要对Hadoop底层原理，api比较了解才能做开发开发调试比较麻烦二、Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整...

LiuY521的博客 7290

hive优化总结

hive ，优化总结，本文涉及HIVE的参数设置，H—SQL关系的写法中需要注意的地方。

HIVE总结

一：hive作用 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce （3）执行程序运行在Yarn上 1.1：Hive优缺点 1>Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数; 缺点： 1）Hive的HQL表达能力有限（1）迭代式算法无法表达（2）数

xiaodi2016的博客 8910

配置 NVIDIA RTX 5090 + sm_120 + flashattention，已跑通一个大模型 ~~

本文介绍了在Ubuntu 22.04系统下为NVIDIA RTX 50系显卡搭建深度学习环境的完整流程。重点包括：1）安装适配50系显卡（sm_120架构）的CUDA 12.9驱动和Toolkit，需注意禁用系统自带驱动；2）配置环境变量解决nvcc命令识别问题；3）通过源码编译方式安装支持sm_120的PyTorch nightly版本（cu129），解决官方二进制包不兼容问题。整个过程涉及显卡驱动安装、CUDA环境配置、PyTorch适配等关键步骤，并提供了详细的验证方法和常见问题解决方案。文中特别强调

qq_36674060的博客 6156

不止是打字机效果：手把手教你用SpannableStringBuilder打造Android富文本AI对话界面

本文详细介绍了如何使用SpannableStringBuilder在Android平台上构建专业级AI对话界面，涵盖流式文本处理、富文本解析、交互优化等核心技术。通过实战代码示例，帮助开发者实现类似DeepSeek的AI产品交互效果，提升用户体验和应用专业度。

weixin_28358083的博客 198

hive使用心得

最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了)，当时使用的0.8的版本（现在最新版本是0.8.1），一个多月下来收获很多。从安装环境、调试、开发、业务理解、技术攻关、业务实现等，一一都体验了一把！总的来说，除了目前网上所介绍的常规hive使用和优化外。因为目前hive只支持0.20的相关版本，所以我们的环境还是使用的0.20版本的hadoop来进行搭建。使用hiv

分布式应用与服务器架构专栏 2万+

超越音频！STM32 SAI接口在AD7768高速ADC采集中的妙用（含PCB布局指南）

本文深入探讨了如何将STM32的SAI接口应用于AD7768高速ADC的数据采集系统，超越了其传统的音频应用范畴。文章详细解析了SAI协议与ADC时序的匹配方法，提供了从CubeMX配置、DMA数据搬运到关键PCB布局指南的完整实战方案，旨在帮助工程师实现稳定、高精度的工业级高速数据采集。

efc12345678的博客 304

hive学习心得二

4.HiveQl数据操作 a)像管理表中装载数据 insert overwrite table table_name partition(column_name='值1',column_name2='值2') select column_name from table_name; b)导出数据 1)hadoop fs -get /user/dim/dim_w3_gprs_product_

和的博客 1605

反激开关电源变压器设计实例讲解（定明芳）

内容来自《反激变压器的设计》(定明芳主讲)。定名芳老师主要讲了10步，最后应该还有一步，线径的选择已经绕制方式。这里进行了记录整理，把一些公式来源进行了推导。所有的设计都是基于理论计算。 1.确定电源规格 2.确定工作频率和最大占空比 3.计算匝比（利用伏秒平衡原则）此处插入解释一下伏秒平衡，根源是磁通量平衡。该原则可以用来检查MOS管耐压是否够。 4.计算初级线圈峰值电流基于CCM模式计算的。ip1是开关管要关闭时的峰值电流，ip2是开关管开始导通时的起始电流。因为时CCM模式，所以，ip

ydgd118的博客 5万+

DSP28335学习笔记——McBSP配置为SPI

由于28335硬件外设上只有一个SPI接口，所以当SPI接口不够用时，可以将McBSP配置为SPI接口。参考28335的数据手册，当DSP为主机时，配置McBSP为SPI所用到的接线如下图所示。另外总结一些调试过程中的经验。 1.传输数据位数的确定由RCR1寄存器中的RWDLEN1和XCR1寄存器中的XWDLEN1决定。分别对应着接受和发送的位数，在配置成SPI模式的时候，这

捕虫少年 1万+

hive详解

xxxxx

mayaohao的博客 6977

STM32 移植LwIP 实现网线插拔自动恢复

STM32 移植LwIP 之后，能正常联网通讯，但是发现2个问题， 1、上电初始化前，未插入网线，之后就无法获取到IP地址（DHCP） 2、正常通讯过程中，拔掉网线，然后插回去，不知道如何复位先看一下LWIP初始化代码 /** * LwIP initialization function */ int MX_LWIP_Init() { /* Initilialize the LwIP stack with RTOS */ tcpip_init( NULL, NULL );

tiantangmoke的博客 8073

个人对hive的简单理解？

帮朋友打个广告 [二手空调维修拆装回收] 等一系列服务有需要的大哥们请咨询13636585819或者扫描下方的二维码什么是hive? 1、hive是基于hadoop的一个数据仓库工具 2、可以将结构化的数据文件映射成一张数据库表，并提供类sql的查询功能 3、可以将sql语句转化成map任务（maptask）进行运行 4、可以用来数据提取、转化、加载（ETL） 5、hive是sql解析引...

qq_40106041的博客 647

【漏洞复现】WordPress Plugin NotificationX 存在sql注入CVE-2024-1698

技术文章仅供参考，任何个人和组织使用网络应当遵守宪法法律，遵守公共秩序，尊重社会公德，不得利用网络从事危害国家安全、荣誉和利益，未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。WordPress和WordPress plugin都是WordPress基金会的产品。WordPress Plugin NotificationX 存在安全漏洞，该漏洞源于对用户提供的参数转义不充分以及对现有 SQL 查询缺乏充分的准备，很容易通过“type”参数受到 SQL 注入攻击。

失心少年 1382

【ComfyUI】Wan2.2 Rapid-AIO-Mega 二次元文生视频

通过 SD3 采样体系与 Wan 系列专用的 **WanVaceToVideo** 视频生成节点，整个流程从模型加载、文案编码、潜空间采样到视频合成一气呵成，能够稳定输出画面精致、角色统一、光影氛围鲜明的动态画面。这套工作流重点整合了视频长度、帧率、分辨率等核心参数控制，并结合 KSampler 的细节生成能力，旨在让用户能在 ComfyUI 中快速生成高质量的二次元叙事视频。

Mr数据杨 1979

hive学习心得

前导 1.数据类型 a）基本数据类型 int（4字节，32位），float（4字节，32位），double（8字节，64位），boolean（true/false），补充：tinyint（1字节，8位），smallint（2字节，16位），bigint（8字节，64位），string 字符串，binary（二进制））， timestamp（时间戳），decimal，varchar，da

和的博客 3538

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

深度理解篇之Hive-个人拙见

Hive 公司的数据越来越多，业务越来越多，会伴随着在存储层存下不同的文件，每个文件代表什么意思呢？打开文件之后，每一列代表什么意思呢？这时候就很难去分别，很难去管理了，人很难通过电脑记录下来将这写不同的数据，所以可以通过第三方存储系统来存储这些记录，比如说数据库建表来记录那个目录里面存的是什么数据，每个数据有什么特点，每一行每一列代表什么意思。总体的意思就是我们得有一个存储系统来记录大量业...

Mirror_w的博客 809

Probability and Statistics - 4th edition

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

hive个人占比怎么求

Hive个人占比如何计算在数据分析中，我们常常需要计算某个特定字段在整个数据集中的占比，Hive作为一个常用的数据仓库工具，能够实现这种需求。接下来，我们将探讨如何通过Hive语句来求出个人占比，并提供相应的代码示例。一、背景知识在许多业务场景中，了解个人或特定条件下记录的占比可以帮助我们做出更好的决策。例如，若我们...

weixin_40721913的博客 265

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

理解Hive表（Hive Table）

Hive表逻辑上有表的数据和相关的元数据组成。元数据描述表的结构，索引等信息。数据通常存放在HDFS中，虽然任意的Hadoop文件系统都能支持，例如Amazon的S3或者而本地文件系统。元数据则存在关系型数据库中，嵌入式的默认使用Derby，MySQL是一种很常用的方案。许多关系型数据库都提供了命名空间的概念，用于划分不同的数据库或者Schema。例如MySQL支持的Database概念，Postg

Spring , Hadoop, Spark , BI , ML 2万+

hive 理解

1、什么是Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 2、Hive诞生的意义降低学习难度，学习成本，让大部分程序员都能够使用HADOOP集群。 3、Hive特点可扩展，Hive依赖HADOOP,存储使用HDFS,计算使用MapReduce,Hive的扩展能力实际就是HDFS,MapReduce的扩展能力。延展性，Hive支持自定义函数，用于实现已经提供的函数无法计算的业务。容错，节点出现问题SQL仍可完成执行，本质

Dwiwhwjd的博客 759

Hive3.X GenericUDF开发个人理解及各种问题解决

GenericUDF实现经纬度坐标转换具体地址，从头到尾嘴对嘴

LifeIsMad的博客 1590

Hive UDAF开发--个人补充理解

总结 hive的比较难的部分应该就是GenericUDAF，看了两天终于看明白了，有些点是我自己遇到卡住的点，记录下来希望对大家有所帮助。一开始看的是《Hive 编程指南》中关于GenericUDAF的章节，例子有点难了。讲的是group_concat的实现。查了资料后觉得网上写的博客非常好，例子比较简单，更能够明白到底在说什么。一定要结合MapReduce的过程来看，才会想明白。不要...

遥望...... 238

个人笔记之Hive

个人笔记之Hive 1.Hive的基本概念 Hive是为了让开发人员更简单地操作MapReduce而开发出来的。关于Hive的难点不多，可以把它理解为一个翻译器，将SQL语句自动翻译成MapReduce的相应代码然后用来处理大量的数据。优点是节省了写MapReduce代码的时间和功夫，换句话说以前必须要对MapReduce有足够了解而且对业务和数据等的分析能力足够强才能熟练使用MapReduce，但是现在只要熟练使用SQL语句就可以使用MapReduce，降低了部分使用门槛。缺点也很明显，在处理小批量数据

qq_37807821的博客 287

hive的进一步理解

HIVE的基本理解，使用，特性什么是hive hive------mapreduce的封装，意义在于将sql语言转化为mapreduce的过程，本质是个mapreduce,批处理强大，不支持单条纪录级别的update操作，随机读写性能差（hive是个计算框架，不能存储数据） hbase-----hdfs的包装，本质是数据存储，克服hdfs在随机读写上的缺点 kudu-----不及HDFS批处理快，也不及HBase随机读写能力强，但是反过来它比HBase批处理快（适用于OLAP的分析场景），..