
hive
文章平均质量分 59
hive相关的知识
黄道婆
大数据开发工程师、AI算法工程师,喜欢写代码、喜欢读IT资料,IT行业的一名小学生,持续学习ing。活到老,学到老。
程序员的追求:知识、技术、创新。我喜欢这句话。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
转载:Hive整合HBase完整笔记
原始链接:https://blog.youkuaiyun.com/dajiangtai007/article/details/79696853 Hive整合HBase完整笔记(亲测) Hive与HBase整合文档 1、Hive整合HBase配置 1.1拷贝hbase 相关jar包 将hbase 相关jar包拷贝到hive lib目录下 hbase-client-0.98.13-hadoop2.jar hbase-common-0.98.13-hadoop2.jar hbase-server-0...转载 2020-11-19 13:40:17 · 185 阅读 · 0 评论 -
转载:hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法
原始链接:https://www.cnblogs.com/wujin/p/6051768.html hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法 hive中一般取top n时,row_number(),rank,dense_ran()这三个函数就派上用场了, 先简单说下这三函数都是排名的,不过呢还有点细微的区别。 通过代码运行结果一看就明白了。 示例数据: 1 2 3 4 5 6 7.转载 2020-11-09 16:19:51 · 178 阅读 · 0 评论 -
转载:Hive:窗口函数
原始链接:https://blog.youkuaiyun.com/weixin_38750084/article/details/82779910 Hive:窗口函数 花和尚也有春天2018-09-20 00:01:3519308收藏116 分类专栏:hive文章标签:窗口函数HiveHive窗口函数 简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析(在线分析处理)。 概念 我们都知...转载 2020-10-10 22:38:34 · 166 阅读 · 0 评论 -
转载:Hive中的窗口函数
原始链接:https://www.cnblogs.com/wcwen1990/p/7601267.html Hive中的窗口函数 简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析 概念 我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后转载 2020-10-10 22:33:16 · 270 阅读 · 0 评论 -
转载:hive窗口函数必备宝典
原始链接:https://blog.youkuaiyun.com/dingchangxiu11/article/details/83145151 hive窗口函数必备宝典 Hive中提供了越来越多的分析函数,用于完成负责的统计分析。我们先在一一列举,希望能够加深印象,希望大家积极讨论,如有不足,请大家多多指教。。。。 1.Row_Number,Rank,Dense_Rank 这三个窗口函数的使用场景非常多 row_number():从1开始,按照顺序,生成分组内记录的序列,row_number()...转载 2020-10-10 22:25:38 · 138 阅读 · 0 评论 -
转载:
原始链接:https://www.cnblogs.com/wujin/p/6051768.html hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法 hive中一般取top n时,row_number(),rank,dense_ran()这三个函数就派上用场了, 先简单说下这三函数都是排名的,不过呢还有点细微的区别。 通过代码运行结果一看就明白了。 示例数据: 1 2 3 4 5 6 7.转载 2020-10-06 22:17:20 · 100 阅读 · 0 评论 -
过往记忆的专栏文章转载:如何在 Apache Hive 中解析 Json 数组
原文链接:https://www.iteblog.com/archives/2362.html 如何在 Apache Hive 中解析 Json 数组 Hive2018-07-04 15:53:01156010评论下载为PDF为什么无法评论和登录 文章目录 1问题 2使用 Hive 自带的函数解析 Json 数组 3自定义函数解析 Json 数组 问题 我们都知道,Hive内部提供了大量的内置函数用于处理各种类型的需求,参见官方文档:Hive Operato...转载 2020-10-04 12:26:28 · 131 阅读 · 0 评论 -
Hive自定义函数实现Json数据解析UDF开发(作业)
参考文章:https://www.pianshen.com/article/931082274/ 我做的工作:完全照猫画虎,一步步操作下来,写出完整的代码。 Json数据解析UDF开发(作业) 作业: 有原始json数据如下: {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"} ...原创 2020-10-04 12:14:59 · 920 阅读 · 1 评论 -
转载:hive学习5:自定义函数之json对象转换hive数据存储
原始链接:https://www.pianshen.com/article/931082274/ hive学习5:自定义函数之json对象转换hive数据存储 技术标签:hive 0元数据,上传到服务器上: {"movie":"2717","rate":"3","timeStamp":"978298196","uid":"2"} {"movie":"2571","rate":"4","timeStamp":"978299773","uid":"2"} ...转载 2020-10-04 10:58:45 · 159 阅读 · 0 评论 -
转载:hive清空外部表的三种方式
原始链接:https://blog.youkuaiyun.com/lixiaoksi/article/details/106919895 hive清空外部表的三种方式 本文总结hive中清空外部表的三种方式 hive版本:2.1.1 环境准备 新建一张外部表: create external table test_external(name String,age int,sex String) stored as orc; 插入数据: insert into table test_...转载 2020-10-03 20:02:49 · 3423 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive数据类型转换
原始链接:https://www.iteblog.com/archives/892.html Hive数据类型转换 Hive2014-01-08 00:13:391285331评论下载为PDF为什么无法评论和登录 写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于《Hive的那些事》序列文章,分享给大家。我会在接下来的时间整理有关Hive的资料,如果对Hive的东西感兴趣,请关注本博客。/arch...转载 2020-10-03 17:23:50 · 889 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive中order by,Sort by,Distribute by和Cluster By介绍
原文链接:https://www.iteblog.com/archives/1534.html Hive中order by,Sort by,Distribute by和Cluster By介绍 Hive2015-11-19 20:10:28123350评论下载为PDF为什么无法评论和登录 我们在使用Hive的时候经常会使用到order by、Sort by、Distribute by和Cluster By,本文对其含义进行介绍。 文章目录 1order by 2...转载 2020-10-03 17:23:37 · 172 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive常用语句
原始连接:https://www.iteblog.com/archives/1537.html Hive常用语句 Hive2015-11-27 14:48:2893800评论下载为PDF为什么无法评论和登录 文章目录 1显示分区 2添加分区 3删除分区 4修改分区 5添加列 6修改列 7修改表属性 8表的重命名 显示分区 show partitions iteblog; 添加分区 ALTER TABLE tab...转载 2020-10-03 17:23:19 · 87 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive常用字符串函数
原始连接:https://www.iteblog.com/archives/1639.html Hive常用字符串函数 Hive2016-04-24 21:39:2695333下载为PDF为什么无法评论和登录 Hive内部提供了很多操作字符串的相关函数,本文将对其中部分常用的函数进行介绍。 下表为Hive内置的字符串函数,具体的用法可以参见本文的下半部分。 返回类型 函数名 描述 int ascii(string str) 返回str第一个字...转载 2020-10-02 15:45:37 · 209 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive中Reduce个数是如何计算的
原始连接:https://www.iteblog.com/archives/1697.html Hive中Reduce个数是如何计算的 Hive2016-06-28 19:27:19126571评论下载为PDF为什么无法评论和登录 我们在使用Hive查询数据的时候经常会看到如下的输出: Query ID = iteblog_20160704104520_988f81d4-0b82-4778-af98-43cc1950d357 Total jobs = ...转载 2020-10-02 15:42:45 · 366 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive 数据抽样的几种方法
原始连接:https://www.iteblog.com/archives/1996.html Hive 数据抽样的几种方法 Hive2017-02-10 09:53:5432320评论下载为PDF为什么无法评论和登录 在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。本文就介绍Hive中三种数据抽样的方法 文章目录 1块抽样(Block Sampling) 2...转载 2020-10-02 15:35:06 · 192 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive分区修复命令MSCK介绍与使用
原始连接:https://www.iteblog.com/archives/2035.html Hive分区修复命令MSCK介绍与使用 Hive2017-02-21 21:17:28130470评论下载为PDF为什么无法评论和登录 我们在使用Hive的时候肯定遇到过建立了一张分区表,然后手动(比如使用cp或者mv)将分区数据拷贝到刚刚新建的表作为数据初始化的手段;但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面,这样才能供我们查询...转载 2020-10-02 12:31:17 · 359 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive删除外部表异常(Table metadata not deleted)
原始连接:https://www.iteblog.com/archives/2166.html Hive删除外部表异常(Table metadata not deleted) Hive2017-06-27 08:54:0135081评论下载为PDF为什么无法评论和登录 文章目录 1问题 2原因 3解决办法 3.1修改 Hive 的源码 3.2修改外部表的数据目录 问题 我们应该知道,Hive中存在两种类型的表:管理表(Managed table,...转载 2020-10-02 12:27:55 · 478 阅读 · 1 评论 -
过往记忆的专栏文章转载:如何在 Apache Hive 中解析 Json 数组
原始连接:https://www.iteblog.com/archives/2362.html 如何在 Apache Hive 中解析 Json 数组 Hive2018-07-04 15:53:01156000评论下载为PDF为什么无法评论和登录 文章目录 1问题 2使用 Hive 自带的函数解析 Json 数组 3自定义函数解析 Json 数组 问题 我们都知道,Hive内部提供了大量的内置函数用于处理各种类型的需求,参见官方文档:Hive Operators ...转载 2020-10-02 12:21:54 · 205 阅读 · 0 评论 -
过往记忆的专栏文章转载:Apache Hive 联邦查询(Query Federation)
原始链接:https://www.iteblog.com/archives/2524.html Apache Hive 联邦查询(Query Federation) Hive2019-03-16 22:33:1630011评论下载为PDF为什么无法评论和登录 如今,很多公司可能会在内部使用多种数据存储和处理系统。这些不同的系统解决了对应的使用案例。除了传统的 RDBMS (比如 Oracle DB,Teradata或PostgreSQL) 之外,我们还会使用 Apache ...转载 2020-10-02 11:51:40 · 527 阅读 · 0 评论 -
过往记忆的专栏文章转载:Apache Hive JdbcStorageHandler 编程入门指南
原始链接:https://www.iteblog.com/archives/2525.html Apache Hive JdbcStorageHandler 编程入门指南 Hive2019-04-02 07:23:0019810评论下载为PDF为什么无法评论和登录 ApacheHive从HIVE-1555开始引入了 JdbcStorageHandler ,这个使得Hive能够读取 JDBC 数据源,关于 Apache Hive 引入 JdbcStorageHan...转载 2020-10-02 11:41:21 · 273 阅读 · 0 评论 -
过往记忆的专栏文章转载:在 Hive 中使用 OpenCSVSerde
原始链接:https://www.iteblog.com/archives/2392.html 在 Hive 中使用 OpenCSVSerde Hive2020-05-04 18:59:413940评论下载为PDF为什么无法评论和登录 文章目录 1OpenCSVSerde 使用 2OpenCSVSerde 的问题 2.1为什么使用 OpenCSVSerde 时,show 的时候字段全变成 string 类型 2.2有什么好办法? OpenCSVSerd...转载 2020-10-02 11:27:36 · 374 阅读 · 1 评论 -
过往记忆的专栏文章转载:RCFile (Record Columnar File)设计
原始链接:https://www.iteblog.com/archives/9829.html 从行存储到 RCFile,Facebook 为什么要设计出 RCFile? Hive2020-06-16 22:56:463440评论下载为PDF为什么无法评论和登录 2010年,Facebook 的工程师在 ICDC(IEEE International Conference on Data Engineering) 发表了一篇《RCFile: A Fast and Space-e...转载 2020-10-02 11:07:12 · 277 阅读 · 0 评论 -
过往记忆的专栏文章转载:Hive insert into语句用法
过往记忆的专栏文章转载:Hive insert into语句用法 原始链接:https://www.iteblog.com/archives/798.html Hive insert into语句用法 Hadoop2013-10-30 16:32:54893382评论下载为PDF为什么无法评论和登录 在Hive0.8开始支持Insert into语句,它的作用是在一个表格里面追加数据。 标准语法语法如下: 用法一: INSERT OVERWRITE T...转载 2020-10-01 21:51:11 · 1652 阅读 · 0 评论 -
转载:hive开窗函数,分析函数
原始链接:https://www.cnblogs.com/yejibigdata/p/6376409.html 1.hive开窗函数,分析函数 http://yugouai.iteye.com/blog/1908121 分析函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是:对于每个组返回多行,而 聚合函数对于每个组只返回一行。 开窗函数指定了分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化 drop table if exists student; create tab.转载 2020-09-29 13:47:47 · 293 阅读 · 0 评论 -
转载:Hive开窗函数整理
原始链接:https://www.cnblogs.com/zz-ksw/p/12917693.html Hive开窗函数整理 分析函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是:对于每个组返回多行,而聚合函数对于每个组只返回一行。 开窗函数指定了分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化!到底什么是数据窗口?后面举例会详细讲到! 基础结构: 分析函数(如:sum(),max(),row_number()...) + 窗口子句(over函数) over函数.转载 2020-09-29 13:35:21 · 133 阅读 · 0 评论 -
转载:Hive开窗函数实战(建议收藏)
原始链接:https://blog.youkuaiyun.com/a934079371/article/details/106205151?utm_medium=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param Hive开窗函数实战(建议收藏) .转载 2020-09-29 12:50:05 · 227 阅读 · 0 评论 -
hive在mysql中总是不创建元数据库的解决办法
hive在mysql中总是不创建元数据库的解决办法 这两天打算好好捣鼓捣鼓hive sql。遂搞了台centos搭环境,搭环境嘛,当然是怎么简单怎么来,怎么快怎么来。好不容易搭完了,发现hive在mysql中总是不创建元数据库。 按照既往掉坑的经验,怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑hadoop和hive的guava jar包版本不一致、怀疑mysql服务没启动、怀疑元数据的字符集编码集不对时区不对……都不对。 网上搜到的解决办法是手动执行初始化元数据的工作,问题.原创 2020-09-27 14:35:49 · 1067 阅读 · 1 评论 -
转载:Hive sql语句必练50题-入门到精通(3)
原始链接:https://blog.youkuaiyun.com/Thomson617/article/details/83281254 Hive sql语句必练50题-入门到精通(3) 承接: Hive sql语句必练50题-入门到精通(2)– 36、查询任何一门课程成绩在70分以上的学生姓名、课程名称和分数: select student.s_id,s_name,c_name,s_score from student join (select sc.* from score sc ..转载 2020-09-26 20:07:58 · 188 阅读 · 0 评论 -
转载:Hive sql语句必练50题-入门到精通(2)
原始链接:https://blog.youkuaiyun.com/Thomson617/article/details/83280617 Hive sql语句必练50题-入门到精通(2) 承接: Hive sql语句必练50题-入门到精通(1) – 21、查询不同老师所教不同课程平均分从高到低显示: – 方法1 select course.c_id,course.t_id,t_name,round(avg(s_score),2)as avgscore from course join te..转载 2020-09-26 20:03:34 · 289 阅读 · 0 评论 -
Hive sql语句必练50题-入门到精通(3)(转载)
Hive sql语句必练50题-入门到精通(3) 原始链接:https://blog.youkuaiyun.com/Thomson617/article/details/83281254 原创Thomson617 最后发布于2018-10-23 00:50:59 阅读数 1945 收藏 展开 承接: Hive sql语句必练50题-入门到精通(2) – 36、查询任何一门课程成绩在70分以上的学生姓名、...转载 2020-02-24 15:59:23 · 315 阅读 · 0 评论 -
Hive sql语句必练50题-入门到精通(2)(转载)
Hive sql语句必练50题-入门到精通(2) 原始链接:https://blog.youkuaiyun.com/Thomson617/article/details/83280617 原创Thomson617 最后发布于2018-10-22 23:08:54 阅读数 2546 收藏 展开 承接: Hive sql语句必练50题-入门到精通(1) – 21、查询不同老师所教不同课程平均分从高到低...转载 2020-02-24 15:57:20 · 308 阅读 · 0 评论 -
Hive sql语句必练50题-入门到精通(1)(转载)
Hive sql语句必练50题-入门到精通(1) 原始链接:https://blog.youkuaiyun.com/Thomson617/article/details/83212338 原创Thomson617 最后发布于2018-10-20 12:22:19 阅读数 9481 收藏 展开 hive学习之经典sql 50题 hive版 建表: create table student(s_id ...转载 2020-02-24 15:54:56 · 498 阅读 · 0 评论