大数据学习笔记39：Hive - 内置函数（2）

最新推荐文章于 2024-04-29 20:21:51 发布
最新推荐文章于 2024-04-29 20:21:51 发布
阅读量686 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104189770
本文详细介绍了Hive的内置函数collect_set和explode的使用方法，包括数据去重和行切分操作。通过多个案例，如单列数据去重、分组数据去重、行切分等，展示了如何在实际场景中应用这两个函数，以实现高效的数据处理和分析。

文章目录

一、汇聚去重函数：collect_set

collect_set 函数用于数据去重，并将结果形成数组返回，而collect_list函数用于将结果形成数组，但是不去重。

（一）案例1：单列数据去重

1、创建数据文件nums.txt

100
200
350
100
250
200
100
350
250

在这里插入图片描述

2、将文件上传到HDFS的/cset目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习笔记38：Hive - 内置函数（1）
howard2005的专栏
02-04 790
文章目录一、运算（一）数学运算（二）关系运算（三）逻辑运算二、内置函数（一）数学函数（二）日期函数（三）条件函数（四）字符串函数（五）集合统计函数（六）复合类型构建函数（七）复合类型访问函数（八）复合类型长度统计函数（九）collect_set函数（十）explode函数 一、运算 （一）数学运算 （二）关系运算 （三）逻辑运算 二、内置函数 Hive实现了标准的SQL，除此之外，为提升hive处...
大数据学习笔记40：Hive - 内置函数（3）
howard2005的专栏
02-07 676
文章目录一、字符串函数二、集合统计函数 一、字符串函数 二、集合统计函数 文章目录一、字符串函数二、集合统计函数 集合统计函数 1、个数统计函数：count 语法：count(), count(expr), count(DISTINCT expr[, expr_.]) 返回值：int 说明：count()统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；c...
大数据学习笔记41：Hive - 用户自定义函数
howard2005的专栏
02-09 690
文章目录一、用户自定义函数二、案例演示：自定义阶乘函数1、创建Maven项目UDFDemo2、在pom.xml里添加对hadoop和hive的依赖3、继承UDF类，创建Factorial类4、将项目UDFDemo打成jar包 一、用户自定义函数 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数，用户自定义函数（User Defined Function)，针对单...
大数据学习笔记34：Hive - 数据库与表操作
howard2005的专栏
02-01 947
文章目录一、准备工作1、启动Hadoop2、启动Hive二、数据库操作1、创建数据库2、查询数据库（1）显示全部数据库（2）查询满足条件的数据库3、修改数据库信息（1）给数据库添加注释信息（2）给数据库添加键值对信息4、查看数据库信息5、使用数据库6、删除数据库三、数据表操作 一、准备工作 1、启动Hadoop 2、启动Hive [root@tiger ~]# hive 二、数据库操作 H...
大数据学习笔记15-Hive基础3
最新发布
MU2377的博客
04-29 834
表的分区及分桶;数据读取和写入;内置函数
大数据学习笔记-2020-10-03--hive中的函数与udf自定义函数
airleaya的博客
10-03 204
hive中的函数 系统自带的函数： 查看系统自带的函数： hive> show functions; 显示自带函数的用法： hive> desc function upper; 详细显示自带函数的用法： hive> desc function extended upper; 用户自定义的函数UDF（user-defined function）： 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数 根据用户自定义函数类别分为以
大数据学习笔记（十一）-Hive进阶
狂暴棕熊的博客
12-15 1120
1.Hive的访问方式 ①Hive shell ②HiveServer&beeline ③HUE、Zepplin等WebUI的访问方式 2.hiveserver2 ①启动: hiveserver2 ②使用beeline连接hive：beeline -u jdbc:hive2://hadoop000:10000/default -n hadoop 在运行的过程中我遇到了这样的问题，百度
Hive 学习笔记 排序-分区-分桶-函数
yisuoyanyv的博客
01-14 1909
1. 排序 1.1 Order By 全局排序 关注点： 只有一个reducer ,也就是只有一个分区。 1.2 Sort By Reducer内部排序，分区内排序 关注点： 有多个reducer，也就是有多个分区 注意点： 有多个reducer，单独使用sort by ,数据会被随机分到每个reducer中，在每个reducer中，sort by 将数据排序。 set mapreduce.job.reduces; select * from epm order by detp desc; in
大数据学习笔记：Hadoop生态系统
howard2005的专栏
02-26 1893
介绍Hadoop生态圈常用组件
解决宿主机Ping不通虚拟机的问题
热门推荐
howard2005的专栏
07-30 7万+
在使用虚拟机的过程中，我们常常会遇到宿主机和虚拟机之间无法相互通信的问题。具体来说，我们要查看虚拟机和宿主机的 IP 地址，然后尝试进行 Ping 测试。在某些情况下，我们可能发现 Ping 虚拟机不通，接下来我将分享如何解决这个问题。
在Eclipse里搭建Scala开发环境
howard2005的专栏
04-10 9935
在Eclipse里搭建Scala开发环境Scala：一种类似Java的编程语言，综合了面向对象编程(Object-Oriented Programming)和函数式编程(Functional  Programming)的特性，有利于开发多核并发模型以及云计算(Parallelism  for  Mulicore  and  Cloud  Computing)项目。参考书目：Programming ...
Spark案例：Scala版统计单词个数
howard2005的专栏
12-14 9068
Spark案例：Scala版统计单词个数 利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的jar，并添加作为项目的库 3、在项目根目录创建test.txt文件 4、创建WordCount对象 package net.hw.spa...
如何让CentOS8虚拟机与主机相互Ping通
howard2005的专栏
11-13 7806
如何让CentOS8虚拟机与主机相互Ping通 在VMWare上安装了CentOS8，打开终端，发布nmcli命令： 当前连接的是virbr0，ipv4地址是192.168.122.1，而网卡ens33没有连接的。 打开主机的命令行窗口，发布命令ping 192.168.122.1： 请求超时，主机Ping不通虚拟机。 发布ipconfig命令，查看主机ipv4地址： 主机...
初试Octave软件
howard2005的专栏
12-16 7521
Octave是一款十分有用的数值计算软件。一、Octave基础1、使用Octave的内建函数>> exp(1)ans = 2.7183说明：exp函数表示底数为e的指数函数。>> x = 1.2*sin(40*pi/180+log(2.4^2))x = 0.76618说明：pi代表圆周率。>> log(e)ans = 1>> log10(100...
利用Octave解线性方程组
howard2005的专栏
02-17 6326
利用Octave解线性方程组 在初中，求解线性方程组的方法是消元法（代入消元或加减消元）。 比如，下面这个二元一次方程组，就是采用加减消元法来求解的。 消元法固然简单，容易理解，但是对于n元线性方程组，n值比较大时，这个方法就不好使了，对于这种情况，我们有没有更好的处理方法呢？答案是肯定的。 在线性代数里，对于线性方程组，采用矩阵和向量的计算方式。 首先利用向量和矩阵表示上述二元一次...
在Linux上安装JDK9
howard2005的专栏
02-22 5841
1、下载JDK9 http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、上传到虚拟机 3、安装JDK9 [root@park01 software]# rpm -ivh jdk-9.0.4_linux-x64_bin.rpm 4、配置环境变...
如何才能CentOS终端输入中文
howard2005的专栏
08-22 5281
如何才能CentOS终端输入中文 1、打开终端界面，使用su - root切换到超级用户，然后输入yum install -y "@Chinese support"，回车。 2、然后点击桌面左上角的System->Perference，在里面可以看到一个Input Method，点击进去。 3、选中Enable前面的方框，点击Input Method。 4、在打开的窗...
Scala案例：词频统计
howard2005的专栏
02-17 5102
一、提出任务 统计文本文件里单词出现次数。 二、完成任务 1、创建Scala项目 - ScalaWordCount 创建net.hw.wc包： 2、在项目根目录添加文本文件test.txt 3、在net.hw.wc包里创建scala源程序WordCount 4、运行程序，查看结果 ...
Zebra项目：分析、实施与测试
howard2005的专栏
01-13 5043
目录 第一部分 Zebra项目概述 一、Zebra项目介绍 二、日志数据结构分析 三、数据以| 分割后，每个数据项的含义 四、Zebra项目整体架构 （一）技术架构 （二）工程架构 五、Zebra业务说明 1、数据项含义 2、应用大类说明 3、应用小类说明 4、业务字段处理逻辑 5、zebra业务说明 六、Zebra项目设计思想 1、单机思想 2、四个进程职责 3...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值