hive深入资料

Hive 使用与优化指南
最新推荐文章于 2022-05-06 21:14:43 发布
原创 最新推荐文章于 2022-05-06 21:14:43 发布 · 523 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #Apache

本文档汇总了多个关于 Hive 的资源链接，包括官方 Wiki、Hive 语言手册及一些社区分享文章。这些资料覆盖了 Hive 的使用方法、查询语言、性能调优等多个方面，适合不同水平的学习者和技术人员参考。
深入理解 Hive UDAF
SmartSi
11-21 1525
用户自定义聚合函数(UDAF)支持用户自行开发聚合函数完成业务逻辑。从实现上来看 Hive 有两种创建 UDAF 的方式，第一种是 Simple 方式，第二种是 Generic 方式。} }AbstractGenericUDAFResolver 提供了一种简单的方法将以前实现 GenericUDAFResolver 接口的 UDAF 迁移到 GenericUDAFResolver2 接口上。
深入解析Apache Hive架构
最新发布
fudaihb的博客
07-17 1814
Apache Hive是一种构建在Hadoop之上的数据仓库基础设施，主要用于大数据处理和查询。Hive提供了一种类SQL查询语言，称为HiveQL，使得用户能够以类似SQL的方式进行大规模数据分析。本文将详细解析Hive的架构，包括其核心组件、工作原理、使用场景及其优缺点。
Hive深入浅出UDF
进击的数据小白
12-08 1658
Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法，带来了很多便利，但是有时候hive提供的函数功能满足不了业务需要，就需要我们自己来写UDF函数来辅助完成。UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成Mapreduce程序后，执行java方法，类似于像Mapreduce执行过程中加入一个插件，方便扩展。UDF只能实现一进一出的操作，如果需.
Hive深入浅出UDAF
进击的数据小白
12-08 5319
上一篇我们讲解了基本UDF的编写，这一节我们来看下UDAF[User Defined Aggregation Functions]，自定义聚合函数，用来处理输入多行，输出一行的操作，类似MapReduce中Reduce操作。UDAF是需要在hive的sql语句和group by联合使用，hive的group by对于每个分组，只能返回一条记录。 概述 Hive是构建在Hadoop上的数据仓库，我们的sql语句最终都是要变成Mapreduce函数，只不过hive已经帮助我们写好并隐藏mapreduce ，.
深入理解Hive
weixin_51194902的博客
08-15 332
1. 数据库和数据仓库的区别 数据库： 真正存储和管理数据的，对数据有直接的处置权 关心的事情是 在线事务过程(OLTP) 数据仓库： 可以利用一个或多个数据库的数据，进行数据分析。 关心的事情是 在线分析过程(OLAP) 2. hive运行原理 写sql语句，hive内部自动转成MapReduce程序执行。 原数据在hdfs上，sql语句需要使用表。 表是以目录形式存在hdfs的某个指定位置(warehouse) 可以通过数据加载的形式，把hdfs或本地的原数据加载到表(目录)中 表里的数据实际上是存
Hive深入浅出UDTF
进击的数据小白
12-08 2642
前面两篇文章我们分析了UDF和UDAF的原理以及实现思路，这一节我们介绍另外一种UDF: UDTF((User-Defined Table-Generating Functions)，是用来解决输入一行输出多行的需求的，本节我们来详细分析下UDTF如何实现以及如何与lateral view一起结合使用。 概述 UDTF(User-Defined Table-Generating Functions)是用来解决输入一行输出多行的需求。 执行步骤 要实现UDTF，我们需要继承org.apache.hadoo.
hive参数深入浅出
asdsdsd25的博客
05-06 371
Hive参数深入浅出 一.Hive参数介绍 特别说明 关于MapJoin的问题剖析 概念说明 将join的本来应该是reduce进行关联查找的过程，改成由纯map端进行关联查找。 特点特征 减少了reduce的处理，全部放到map端进行操作。 减少了数据移动，提升了IO和计算效率。 应用场景 大表join小表的时候， .
hive深入使用
~衫~的博客
10-25 260
1.加载数据到hive 用法 load data [local] inpath ‘filepath’ [overwrite] into table tablename[partition (分区字段)]； (1):加载本地文件到hive表 load data local inpath’/usr/beijing/houser/emp.txt’ into table emp; (2).加
深入理解hive
qq_35362484的博客
05-08 255
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL， 将Mysql的mysql-connector-java-5.1.27-bi...
hive学习资料
02-10
在学习过程中，你可以通过阅读官方文档、实践案例和教程来深入理解这些概念，并掌握如何在实际项目中应用Hive进行大数据处理。对于提供的压缩包文件，它们可能是Hive相关文档或者示例的组成部分，具体内容可能包括...
精选资源
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
本教程将深入探讨Hive数仓的架构与设计，Hive SQL的基本语法及高级特性，以及如何自定义函数以满足特定需求，并详细解析Hive的重要参数配置。 1. Hive数仓： - 数据仓库概念：数据仓库是为决策支持系统设计的，...
王家林hive学习资料
12-19
《王家林Hive学习资料》是一份详尽的教程，旨在帮助学员深入了解和掌握Hive这一数据仓库工具。Hive在企业Hadoop应用中扮演着核心角色，尤其在大规模离线数据分析方面表现卓越，被Facebook、淘宝等大型公司广泛采用。...
hive教程资料.rar
02-21
这个"hive教程资料.rar"压缩包很可能包含了一系列学习Hive的基础到高级知识的资源，比如SQL查询语句、课堂笔记以及可能的数据可视化相关材料。 首先，我们来看"课堂临时sql.sql"。这很可能是Hive SQL查询的实例集合...
hive学习资料.zip
06-27
这个“hive学习资料.zip”压缩包包含了深入理解Hive的重要资源，包括文档和PDF，可以帮助用户从基础到高级掌握Hive的使用。 1. **Hadoop数据仓库工具--hive介绍.docx**： 这份文档可能会涵盖Hive的基本概念，例如...
hive数组使用
baiyunl的专栏
05-27 1732
转：http://blog.sina.com.cn/s/blog_61c463090100rt4h.html   数据 afan@ubuntu:/usr/local/hadoop/hive$ cat test.txt 12,23,23,34     what,are,this 34,45,34,23,12    who,am,i,are afan@ubuntu:/usr/loca...
hive中分组取前N个值的实现
baiyunl的专栏
03-28 1271
需求：假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前2名 数据如下表： id      clsno   score 1       c1      20 2       c1      30 3       c1      40 4       c1      50 5       c1      80 11      c1      80 12      c1  ...
如何获取hive建表语句
baiyunl的专栏
03-22 915
在使用hive进行开发时，我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。 要想还原建表DDL就必须从元数据入手，我们知道，hive的元数据并不存放在hdfs上，而是存放在传统的RDBMS中，典型的如mysql，derby等，这里我们以mysql为元数据库，结合0.4.2版本的hive为例进行研究。 连接上mysql后可以看到hive元数据对应...
Hive SQL语法解读
baiyunl的专栏
03-15 713
一、 创建表     在官方的wiki里，example是这样的： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name   [(col_name data_type [COMMENT col_comment], ...)]   [COMMENT table_comment]   [PARTITIONED BY (col_name dat...
定时将数据导入到hive中
baiyunl的专栏
03-16 575
应用crontab定时将数据导入到hive中：在调用/bin/hive -f 'loadData.sql' 的时候,报错：Cannot find hadoop installation: $HADOOP_HOME must be set or hadoop must be in the path。 查资料得知是由环境变量在crontab中不一定可识别引起的。于是在脚本中前面加入export HA...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值