Hive总结

最新推荐文章于 2025-09-13 12:54:57 发布
最新推荐文章于 2025-09-13 12:54:57 发布
阅读量50 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：http://www.cnblogs.com/bobsoft/archive/2012/10/07/2714495.html
本文详细介绍了在使用Hive执行SQL查询时与Hadoop的交互过程，并特别指出为确保查询正常执行需要对HDFS的/tmp目录进行组写权限设置的方法。
 1.在运行select count(1) from tab时，会启动hadoop的job，需要对 hdfs/tmp设置 组写权限  hadoop fs -chmod g+w /tmp
    原因：Hive将HSQL解析成Hadoop的job，job在中间运行会对 hdfs/tmp操作写入操作
   (2012-05-07)

转载于:https://www.cnblogs.com/bobsoft/archive/2012/10/07/2714495.html

HIVE总结
xiaodi2016的博客
02-04 8504
一：hive作用 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce （3）执行程序运行在Yarn上 1.1：Hive优缺点 1>Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数; 缺点： 1）Hive的HQL表达能力有限 （1）迭代式算法无法表达 （2）数
hive总结
qq_40127822的博客
12-24 526
Hive基本环境：完好可用的hadoop集群（存放数据），一个数据库，一般选用mysql关系型 数据库（存放元数据）。 Hive四大概念：库，表，分区，分桶 Hive数据类型，复杂数据类型。 Hive基础命令： 进入hive命令行：hive 查看所有数据库：show datavases; 创建数据库：create database log; 使用数据库：use log; 语句与sql语法基本一致。...
Hive 总结
qq_45494908的博客
04-15 1466
Hive SQL on Hadoop：以SQL 和方式运行在Hadoop上。 SQL UDF 对大数据处理，最后落地最好都是SQL实现，受众所有语言的编程人员。对MapReduce来说需要开发大量代码。 每一个框架的诞生都是为了去解决一类问题，没有一个框架能兼容所有场景。 对于MR来说，就是用于：批计算、离线计算。 ==> Hive 也是。 基于Hadoop hive.apache.org 由Facebook开源，处理海量结构化数据的统计问题。 构建在Hadoop之上: Hive的数据是存在hd
总结：Hive
w2009211777的专栏
06-28 1773
交易ID：交易日期：客户IDproduct_id：产品IDamount：交易金额在处理TB级甚至更大规模数据时，Hive通过分布式存储和计算展示了其显著的优势。相较于传统的关系型数据库如MySQL，Hive能够更加高效地处理大规模数据查询，具有更高的扩展性和容错能力。
HIVE 总结 五 Hive 查询
千山暮雪CN
08-01 3037
HIVE 总结 五 Hive 查询 本篇总结hive操作的查询,毕竟在工作中查询才是用的最多的. 而hive的查询基本上跟MySQL的查询是一样的. 文章目录HIVE 总结 五 Hive 查询1.基本查询2.分组查询3.jion4.排序 1.基本查询 语法 SELECT [ALL | DISTINCT] select_expr, select_expr, ...   FROM table_reference   [WHERE where_condition]
Hive总结-常用函数
weixin_39027420的博客
04-26 938
1. Hive总结-常用函数 学习书目：https://zhuanlan.zhihu.com/p/82601425 1.1. 基础无脑型： 1.1.1. 字符串长度函数：length hive>selectlength('abced')fromdual; 5 1.1.2. 字符串反转函数：reverse hive>selectreverse('abcedfg')fromdual; gfdecba 1.1.3. 字符串转大写...
Hive总结及常见语法
weixin_47880716的博客
10-22 9552
目录第1章 hive入门1.1 什么是hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模第2章 Hive 安装2.1 Hive 安装部署2.2 将本地文件导入Hive案例2.3 MySql安装2.4.1 安装包准备2.4.2 安装MySql服务器2.4.3 安装MySql客户端2.4.4
大数据之Hive总结篇及Hive优化
juan777的博客
02-04 1714
Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。 什么是Hive 先来谈谈自己的理解： 有些人可能会说Hive不就是写SQL的吗，那我们其实可以从另一个角度来理解:Hive就是那么强大啊，只要写SQL就能解决问题，其实这些人说的也没错Hive...
Hive总结.docx
06-12
【Hive原理】 Hive是基于Hadoop平台的数据仓库解决方案，它主要解决了在大数据场景下，业务人员和数据科学家能够通过熟悉的SQL语言进行数据分析的问题。Hive并不存储数据，而是依赖于HDFS进行数据存储，并利用...
Hive总结讲义
08-15
ive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的...
Elasticsearch (ES)相关
最新发布
Running_boy_的博客
09-13 472
ES 中，Term Index 是。
AI-调查研究-74-具身智能 机器人学习新突破：元学习与仿真到现实迁移的挑战与机遇
永远好奇，无限进步！
09-10 977
具身智能体要实现高效学习与技能迁移，核心在于提升少样本学习与跨任务泛化能力。当前机器人学习面临多重挑战：一是任务间的迁移难度大，已学技能难以快速应用到相似任务；二是不同机器人形态和传感系统的异构性增加了适配难度；三是现有强化学习与模仿学习在样本效率和泛化能力上存在局限。为突破瓶颈，研究重点聚焦于元学习、少样本模仿学习和多任务预训练策略。例如，MAML等元学习框架可显著提升新任务适应速度，大规模多任务预训练则能为下游
TDengine 选择函数 TOP() 用户手册
TDengine(老段）专注时序数据库领域
09-12 687
其中，TDengine TSDB 是一款高性能、分布式的时序数据库（Time Series Database），同时它还带有内建的缓存、流式计算、数据订阅等系统功能；TDengine IDMP 是一款AI原生工业数据管理平台，它通过树状层次结构建立数据目录，对数据进行标准化、情景化，并通过 AI 提供实时分析、可视化、事件管理与报警等功能。函数返回指定列中最大的 k 个非 NULL 值及其对应的记录。如果多条数据取值相同，且全部取用会超出 k 条限制时，系统会从相同值中随机选取符合要求的数量返回。
云原生与多云策略：构建弹性、开放的数据底座
晴天彩虹雨的博客
09-13 99
在前面的文章中，我们探讨了在智能化时代的重要性。？云原生与多云策略，正在成为新一代大数据平台架构的必选项。
还在重启应用改 Topic？Spring Boot 动态 Kafka 消费的“终极形态”
郑龙飞
09-10 777
/ 用于存储 @KafkaListener 的“蓝图”// ... 可按需添加 concurrency, autoStartup 等其他属性(元数据采集与注册)@Component@OverrideClass<?= null &&!通过巧妙地结合和动态配置中心，我们实现了一个功能极其强大的动态 Kafka 消费管理方案。
大数据毕业设计选题推荐-基于大数据的国内旅游景点游客数据分析系统-Spark-Hadoop-Bigdata
IT研究室的博客
09-09 1142
本文介绍了一个基于大数据的国内旅游景点游客数据分析系统。该系统采用Hadoop+Spark分布式架构，结合Python/Java开发语言，通过Django/Spring Boot后端和Vue前端实现全流程旅游数据分析。系统具备五大核心功能模块：游客画像分析、消费行为挖掘、区域市场研究、时序环境分析和景点评估，可处理海量旅游数据并进行多维度的可视化展示。开发环境整合了HDFS、Spark SQL、Pandas等技术栈，使用MySQL存储分析结果。
内存大（巨）页
fpcc的专栏
09-12 642
文章摘要： 大页（巨页）是比标准4KB页更大的内存页（如2MB或1GB），用于优化内存管理。随着内存容量增长，传统小页导致页表膨胀、TLB命中率下降等问题。大页通过减少页表层级、提升连续内存访问效率，显著提高性能，尤其适用于数据库、大数据处理、高性能计算等场景。但其分配复杂，可能加剧内存碎片。技术发展推动内存管理演进，未来可能出现更优方案。开发者需持续关注前沿技术动态。 （150字）
Hive语句实用总结与示例
"这篇文档主要汇总了Hive中的创建表语句，包括内部表、外部表以及分区表的创建方法，方便开发人员查阅和使用。" 在Hive中，创建表是进行数据操作的基础，这里主要涉及到三种类型的表：内部表（Internal Table）、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值