Hive 实现WordCount

本文介绍如何使用Hive SQL进行文本数据处理,包括创建表、加载数据、使用split和explode函数切分句子为单词,以及统计各单词出现频率的方法。通过实际案例演示,帮助读者掌握Hive在大数据分析中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

准备数据

wd.txt
在这里插入图片描述

创建Hive表

create table ruoze_wc(
sentence string
);

加载数据到表中

load data local inpath '/home/hadoop/data/wd.txt' into table ruoze_wc;

查看表数据

在这里插入图片描述

执行hive

  1. 使用 split 函数 按照逗号切分单词
    在这里插入图片描述
  2. 使用explode 函数 将切分好的单词数组切成多行数据
    在这里插入图片描述
  3. 统计每个单词 出现的次数
    在这里插入图片描述

完整的sql

select word, count(1) as c
from
(
select explode(split(sentence,",")) as word from ruoze_wc
) t group by word
order by c desc;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值