黄道婆的专栏

原始链接：https://blog.youkuaiyun.com/dajiangtai007/article/details/79696853 Hive整合HBase完整笔记（亲测） Hive与HBase整合文档 1、Hive整合HBase配置 1.1拷贝hbase 相关jar包 将hbase 相关jar包拷贝到hive lib目录下 hbase-client-0.98.13-hadoop2.jar hbase-common-0.98.13-hadoop2.jar hbase-server-0...

原始链接：https://www.cnblogs.com/wujin/p/6051768.html hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法 hive中一般取top n时，row_number(),rank,dense_ran()这三个函数就派上用场了， 先简单说下这三函数都是排名的，不过呢还有点细微的区别。 通过代码运行结果一看就明白了。 示例数据： 1 2 3 4 5 6 7.

原始链接：https://blog.youkuaiyun.com/weixin_38750084/article/details/82779910 Hive：窗口函数 花和尚也有春天2018-09-20 00:01:3519308收藏116 分类专栏：hive文章标签：窗口函数HiveHive窗口函数 简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。 概念 我们都知...

原始链接：https://www.cnblogs.com/wcwen1990/p/7601267.html Hive中的窗口函数 简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析 概念 我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后

原始链接：https://blog.youkuaiyun.com/dingchangxiu11/article/details/83145151 hive窗口函数必备宝典 Hive中提供了越来越多的分析函数，用于完成负责的统计分析。我们先在一一列举，希望能够加深印象，希望大家积极讨论，如有不足，请大家多多指教。。。。 1.Row_Number,Rank，Dense_Rank 这三个窗口函数的使用场景非常多 row_number():从1开始，按照顺序，生成分组内记录的序列,row_number()...

原始链接：https://www.cnblogs.com/wujin/p/6051768.html hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法 hive中一般取top n时，row_number(),rank,dense_ran()这三个函数就派上用场了， 先简单说下这三函数都是排名的，不过呢还有点细微的区别。 通过代码运行结果一看就明白了。 示例数据： 1 2 3 4 5 6 7.

原文链接：https://www.iteblog.com/archives/2362.html 如何在 Apache Hive 中解析 Json 数组 Hive2018-07-04 15:53:01156010评论下载为PDF为什么无法评论和登录 文章目录 1问题 2使用 Hive 自带的函数解析 Json 数组 3自定义函数解析 Json 数组 问题 我们都知道，Hive内部提供了大量的内置函数用于处理各种类型的需求，参见官方文档：Hive Operato...

参考文章：https://www.pianshen.com/article/931082274/ 我做的工作：完全照猫画虎，一步步操作下来，写出完整的代码。 Json数据解析UDF开发（作业） 作业： 有原始json数据如下： {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"} ...

原始链接：https://www.pianshen.com/article/931082274/ hive学习5：自定义函数之json对象转换hive数据存储 技术标签：hive 0元数据，上传到服务器上： {"movie":"2717","rate":"3","timeStamp":"978298196","uid":"2"} {"movie":"2571","rate":"4","timeStamp":"978299773","uid":"2"} ...

原始链接：https://blog.youkuaiyun.com/lixiaoksi/article/details/106919895 hive清空外部表的三种方式 本文总结hive中清空外部表的三种方式 hive版本：2.1.1 环境准备 新建一张外部表： create external table test_external(name String,age int,sex String) stored as orc; 插入数据： insert into table test_...

原始链接：https://www.iteblog.com/archives/892.html Hive数据类型转换 Hive2014-01-08 00:13:391285331评论下载为PDF为什么无法评论和登录 写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。/arch...

原文链接：https://www.iteblog.com/archives/1534.html Hive中order by,Sort by,Distribute by和Cluster By介绍 Hive2015-11-19 20:10:28123350评论下载为PDF为什么无法评论和登录 　　我们在使用Hive的时候经常会使用到order by、Sort by、Distribute by和Cluster By，本文对其含义进行介绍。 文章目录 1order by 2...

原始连接：https://www.iteblog.com/archives/1537.html Hive常用语句 Hive2015-11-27 14:48:2893800评论下载为PDF为什么无法评论和登录 文章目录 1显示分区 2添加分区 3删除分区 4修改分区 5添加列 6修改列 7修改表属性 8表的重命名 显示分区 show partitions iteblog; 添加分区 ALTER TABLE tab...

原始连接：https://www.iteblog.com/archives/1639.html Hive常用字符串函数 Hive2016-04-24 21:39:2695333下载为PDF为什么无法评论和登录 　　Hive内部提供了很多操作字符串的相关函数，本文将对其中部分常用的函数进行介绍。 下表为Hive内置的字符串函数，具体的用法可以参见本文的下半部分。 返回类型 函数名 描述 int ascii(string str) 返回str第一个字...

原始连接：https://www.iteblog.com/archives/1697.html Hive中Reduce个数是如何计算的 Hive2016-06-28 19:27:19126571评论下载为PDF为什么无法评论和登录 　　我们在使用Hive查询数据的时候经常会看到如下的输出： Query ID = iteblog_20160704104520_988f81d4-0b82-4778-af98-43cc1950d357 Total jobs = ...

原始连接：https://www.iteblog.com/archives/1996.html Hive 数据抽样的几种方法 Hive2017-02-10 09:53:5432320评论下载为PDF为什么无法评论和登录 在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。本文就介绍Hive中三种数据抽样的方法 文章目录 1块抽样（Block Sampling） 2...

原始连接：https://www.iteblog.com/archives/2035.html Hive分区修复命令MSCK介绍与使用 Hive2017-02-21 21:17:28130470评论下载为PDF为什么无法评论和登录 　　我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用cp或者mv）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面，这样才能供我们查询...

原始连接：https://www.iteblog.com/archives/2166.html Hive删除外部表异常(Table metadata not deleted) Hive2017-06-27 08:54:0135081评论下载为PDF为什么无法评论和登录 文章目录 1问题 2原因 3解决办法 3.1修改 Hive 的源码 3.2修改外部表的数据目录 问题 我们应该知道，Hive中存在两种类型的表：管理表（Managed table,...

原始连接：https://www.iteblog.com/archives/2362.html 如何在 Apache Hive 中解析 Json 数组 Hive2018-07-04 15:53:01156000评论下载为PDF为什么无法评论和登录 文章目录 1问题 2使用 Hive 自带的函数解析 Json 数组 3自定义函数解析 Json 数组 问题 我们都知道，Hive内部提供了大量的内置函数用于处理各种类型的需求，参见官方文档：Hive Operators ...

原始链接：https://www.iteblog.com/archives/2524.html Apache Hive 联邦查询（Query Federation） Hive2019-03-16 22:33:1630011评论下载为PDF为什么无法评论和登录 如今，很多公司可能会在内部使用多种数据存储和处理系统。这些不同的系统解决了对应的使用案例。除了传统的 RDBMS （比如 Oracle DB，Teradata或PostgreSQL） 之外，我们还会使用 Apache ...

原始链接：https://www.iteblog.com/archives/2525.html Apache Hive JdbcStorageHandler 编程入门指南 Hive2019-04-02 07:23:0019810评论下载为PDF为什么无法评论和登录 ApacheHive从HIVE-1555开始引入了 JdbcStorageHandler ，这个使得Hive能够读取 JDBC 数据源，关于 Apache Hive 引入 JdbcStorageHan...

原始链接：https://www.iteblog.com/archives/2392.html 在 Hive 中使用 OpenCSVSerde Hive2020-05-04 18:59:413940评论下载为PDF为什么无法评论和登录 文章目录 1OpenCSVSerde 使用 2OpenCSVSerde 的问题 2.1为什么使用 OpenCSVSerde 时，show 的时候字段全变成 string 类型 2.2有什么好办法？ OpenCSVSerd...

原始链接：https://www.iteblog.com/archives/9829.html 从行存储到 RCFile，Facebook 为什么要设计出 RCFile？ Hive2020-06-16 22:56:463440评论下载为PDF为什么无法评论和登录 2010年，Facebook 的工程师在 ICDC（IEEE International Conference on Data Engineering） 发表了一篇《RCFile: A Fast and Space-e...

过往记忆的专栏文章转载：Hive insert into语句用法 原始链接：https://www.iteblog.com/archives/798.html Hive insert into语句用法 Hadoop2013-10-30 16:32:54893382评论下载为PDF为什么无法评论和登录 　　在Hive0.8开始支持Insert into语句，它的作用是在一个表格里面追加数据。 标准语法语法如下： 用法一： INSERT OVERWRITE T...

原始链接：https://www.cnblogs.com/yejibigdata/p/6376409.html 1.hive开窗函数，分析函数 http://yugouai.iteye.com/blog/1908121 分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而 聚合函数对于每个组只返回一行。 开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化 drop table if exists student; create tab.

原始链接：https://www.cnblogs.com/zz-ksw/p/12917693.html Hive开窗函数整理 分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。 开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化！到底什么是数据窗口？后面举例会详细讲到！ 基础结构： 分析函数（如:sum(),max(),row_number()...） + 窗口子句（over函数） over函数.

原始链接：https://blog.youkuaiyun.com/a934079371/article/details/106205151?utm_medium=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-OPENSEARCH-1.channel_param Hive开窗函数实战(建议收藏) .

hive在mysql中总是不创建元数据库的解决办法 这两天打算好好捣鼓捣鼓hive sql。遂搞了台centos搭环境，搭环境嘛，当然是怎么简单怎么来，怎么快怎么来。好不容易搭完了，发现hive在mysql中总是不创建元数据库。 按照既往掉坑的经验，怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑hadoop和hive的guava jar包版本不一致、怀疑mysql服务没启动、怀疑元数据的字符集编码集不对时区不对……都不对。 网上搜到的解决办法是手动执行初始化元数据的工作，问题.

原始链接：https://blog.youkuaiyun.com/Thomson617/article/details/83281254 Hive sql语句必练50题-入门到精通(3) 承接: Hive sql语句必练50题-入门到精通(2)– 36、查询任何一门课程成绩在70分以上的学生姓名、课程名称和分数: select student.s_id,s_name,c_name,s_score from student join (select sc.* from score sc ..

原始链接：https://blog.youkuaiyun.com/Thomson617/article/details/83280617 Hive sql语句必练50题-入门到精通(2) 承接: Hive sql语句必练50题-入门到精通(1) – 21、查询不同老师所教不同课程平均分从高到低显示: – 方法1 select course.c_id,course.t_id,t_name,round(avg(s_score),2)as avgscore from course join te..

Hive sql语句必练50题-入门到精通(3) 原始链接：https://blog.youkuaiyun.com/Thomson617/article/details/83281254 原创Thomson617 最后发布于2018-10-23 00:50:59 阅读数 1945 收藏 展开 承接: Hive sql语句必练50题-入门到精通(2) – 36、查询任何一门课程成绩在70分以上的学生姓名、...

Hive sql语句必练50题-入门到精通(2) 原始链接：https://blog.youkuaiyun.com/Thomson617/article/details/83280617 原创Thomson617 最后发布于2018-10-22 23:08:54 阅读数 2546 收藏 展开 承接: Hive sql语句必练50题-入门到精通(1) – 21、查询不同老师所教不同课程平均分从高到低...

Hive sql语句必练50题-入门到精通(1) 原始链接：https://blog.youkuaiyun.com/Thomson617/article/details/83212338 原创Thomson617 最后发布于2018-10-20 12:22:19 阅读数 9481 收藏 展开 hive学习之经典sql 50题 hive版 建表: create table student(s_id ...