
Hive
码农的世界,你不懂
这个作者很懒,什么都没留下…
展开
-
Hive在windows端的图形化连接工具安装使用
官网上介绍过几种windows端的连接方式,本文主要介绍如何使用Oracle SQL Developer连接hive。1.下载并解压Oracle SQL Developer从http://www.oracle.com/technetwor ... ownloads/index.html下载并解压SQL Developer 4.1.52.下载安装jdkjdk1.8的...原创 2019-12-03 14:21:56 · 531 阅读 · 0 评论 -
Hive CLI初探
一、_HOME/bin/hive是一个Shell工具,可以用来以交互式或批量模式运行HIve查询,本篇对其进行学习。一 Hive环境 hive>selectversion(); OK 2.3.3 r8a511e3f79b43d4be41cd231cf5c99e43b248383 Time taken: 11.166 seconds, Fetch...原创 2019-12-03 14:19:24 · 142 阅读 · 0 评论 -
hadoop中hive原理及安装
hive是什么(官网概念)Apache Hive™数据仓库软件有助于使用SQL读取,写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序,用于将用户连接到Hive。Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;Hive...原创 2019-12-03 11:52:51 · 147 阅读 · 0 评论 -
Hive的中函数,用户自定义函数(UDF)
Hive中的函数 Hive为了方便用户的操作,为我们提供了许多的内置函数, $hive>tab //使用键盘的Tab键可以查看 也通过以下命令可以只查看函数 $hive>show functions; ...原创 2019-11-29 10:55:12 · 245 阅读 · 0 评论 -
Hive中DDL数据定义之管理表与外部表
管理表1.理论默认创建的表都是所谓的管理表,有时也被称为内部表。因为这种表,Hive会(或多或少地)控制着数据的生命周期。Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如,/user/hive/warehouse)所定义的目录的子目录下。 当我们删除一个管理表时,Hive也会删除这个表中数据。管理表不适合和其他工具共享数据...原创 2019-11-19 15:17:11 · 135 阅读 · 0 评论 -
Hive中DDL数据定义之修改表
1.重命名表altertable原表名renameto新表名;2.增 删分区表 见Hive中DDL数据定义之分区表3.修改表中列信息查询表结构desc 表名;添加列altertable表名addcolumns(deptdescstring);更新列altertable表名changecolumndeptde...原创 2019-11-19 15:13:55 · 119 阅读 · 0 评论 -
Hive中分桶及抽样查询
1.分桶表分桶表数据存储 分区针对的是数据的存储路径;分桶针对的是数据文件 分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区,特别是之前所提到过的要确定合适的划分大小这个疑虑。 分桶是将数据集分解成更容易管理的若干部分的另一个技术数据准备student.txt 1001 ss...原创 2019-11-19 15:07:02 · 128 阅读 · 0 评论 -
Hive项目实战一
1.需求描述统计某视频网站的常规指标,各种 TopN 指标: 视频观看数 Top10 视频类别热度 Top10 视频观看数 Top20 所属类别包含这 Top20 视频的个数 视频观看数 Top50 所关联视频的所属类别的热度排名 每个类别中的视频热度 Top10,以Music为例 每个类别中视频流...原创 2019-11-19 14:55:09 · 309 阅读 · 0 评论 -
hive中字符串和日期的转换常用的函数大全
获取本地时间:用到from_unixtime和unix_timestamp两种函数:from_unixtime:时间戳转日期函数用法:from_unixtime(bigint unixtime[, stringformat])返回值: string例子1:获取当前Linux的系统日期substr(from_unixtime(unix_timestamp()),1,10)结果为:201...原创 2019-11-05 15:17:39 · 2843 阅读 · 0 评论 -
hive 安装与使用
1,概念2,hive 安装 1)获取 hive 安装包并解压 /home/hduser/下 2)hive 是在 hadoop 基础上的一种数据仓库,必须在环境变量 $HADOOP_HOME 3)配置 hive 环境变量HIVE_HOME与PATH(/etc/profile) 4)conf 下配置 hive-site.xml ...原创 2019-11-04 15:14:56 · 202 阅读 · 0 评论 -
部署Hive
既然我们要安装部署hive,那么首先我们要下载一个hive的压缩包吧,这个我们统一使用cdh5.7.0版本的,因为我们的hadoop是cdh5.7.0版本的,当我们在是用这些apache组件时请大家务必将后面的尾号对其,都是使用cdh的版本。我们使用的是hive-1.1.0-cdh5.7.0.tar.gz这个包,需要的可以向我要(毕竟下载实在太慢了,国外的源),qq:340518941。然后,...原创 2019-10-31 16:03:32 · 113 阅读 · 0 评论