Hive综合应用案例 — 用户搜索日志分析

于 2024-10-24 14:32:33 发布
阅读量589 收藏 1
点赞数 1
文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Junds0/article/details/143208593
版权
Educoder实训 专栏收录该内容
1478 篇文章

已下架不支持订阅

第1关：2018年点击量最高的10个网站域名

任务描述
本关任务：分析2018年点击量最高的10个网站域名。

编程要求
在右侧编辑器补充代码，分析出2018年点击量最高的10个网站域名。

创建数据库：mydb

创建原始表：db_search

字段名 类型 注释
id string 用户编号
key string 搜索关键词
ranking int 该URL在返回结果中的排名
or_der int 点击顺序
url string 域名
time string 时间
部分数据如下：

数据切分方式：空格

数据所在位置：/root/data.txt

测试说明
平台会对你编写的代码进行测试：

预期输出：

bbs.union.daqi.com 1822
www.qihoo.com 1714
ent.sina.com.cn 937
bbs.phoenixtv.com 857
yule.sohu.com 827
club.chinaren.com 827
click.cpc.sogou.com 807
blog.sohu.com 737
news.sina.com.cn 649
club.yule.sohu.com 6

了解本专栏 已下架不支持订阅
Ssaty.
关注
专栏目录

已下架不支持订阅

educoder中Hive综合应用案例 — 用户搜索日志分析
weixin_46026136的博客
11-20 4324
Hive综合应用案例 — 用户搜索日志分析
awesome-java-hive综合应用案例 — 用户搜索日志分析
最新发布
05-17
Collection of awesome Java project on Github(Github Java ). hive综合应用案例 — 用户搜索日志分析 hive综合应用案例 — 用户搜索日志分析 hive综合应用案例 — 用户搜索日志分析 hive综合应用案例 — 用户搜索日志分析 hive综合应用案例 — 用户搜索日志分析
hive综合应用案例-用户搜索日志分析.docx
05-15
hive综合应用案例 — 用户搜索日志分析 Hive综合应用案例 — 用户搜索日志分析 在这个综合应用案例中，我们将使用Hive来分析和处理用户搜索日志数据。搜索日志数据通常包含用户搜索的关键词、搜索时间、用户ID等信息，通过分析这些数据，我们可以了解用户的搜索习惯、热门搜索词、搜索趋势等，从而优化搜索引擎的性能和用户体验。 1. 数据准备 首先，我们需要准备用户搜索日志数据。这些数据通常以文本文件的形式存储，每行记录一个用户的搜索行为。我们可以将这些数据导入到Hive中，创建一个外部表来存储这些数据。 假设我们的搜索日志数据包含以下字段： user_id：用户ID search_keyword：搜索关键词 search_time：搜索时间（时间戳或日期时间格式） device_type：设备类型（如手机、电脑等） 我们可以创建一个Hive表来存储这些数据，如下所示： sql CREATE EXTERNAL TABLE search_logs ( user_id STRING, search_keyword STRIN
基于hive的日志数据统计实战
淡然一笑 的专栏
06-07 1万+
Hive是一个可扩展性极强的数据仓库工具，借助于hadoop分布式存储计算平台和hive对SQL语句的理解能力，我们所要做的大部分工作就是输入和输出数据的适配，恰恰这两部分IO格式是千变万化的，我们只需要定制我们自己的输入输出适配器，hive将为我们透明化存储和处理这些数据，大大简化我们的工作。本文的重心也正在于此，这部分工作相信每一个做数据分析的朋友都会面对的，希望对您有益。
大数据-Hadoop-基础篇-第七章-Hive 实战（sogou用户搜索日志分析）
Blueeyedboy521的博客
07-09 1471
当Hive提供的内置函数不能满足査询需求时，用户也可以根据自己的业务编写自定义函数(User Defined Functions,UDF)，然后在HiveQL中调用。例如有这样一个需求:为了保护用户的隐私，当查询数据的时候，需要将用户手机号的中间四位用星号()代替，比如手机号18001292688需要显示为180***2688。这时候就可以写一个自定义函数来实现这个需求。
Hive实战之日志分析
08-15 2929
http://www.youkuaiyun.com/article/2010-11-28/282620 一、场景介绍 本文主要讲述使用 hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。 集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计
Hive基于搜狗搜索的用户日志行为分析
gywtzh0889的专栏
03-21 3719
问题导读 1.本文是如何学习大数据的？ 2.用户查询中包含的中文、英文字数的平均个数,本文提出哪两个思路？ 3.用户访问应用的时间特点如何使用hive实现统计的？ 前言 ”大数据时代“，“大数据/云计算”，“大数据平台”，每天听到太多的大数据相关的词语，好像现在说一句话不跟大数据沾边都不好意思说自己是做IT的。可能这与整个IT圈子的炒作也有关联，某一个方面来看其实就是一营销术语。很多
hive使用案例
张兆坤
05-25 9897
（1）UDF 开发与使用实
搜狗搜索日志分析系统
04-26
搜狗数据的数据格式： 访问时间\t 用户 ID\t[查询词]\t 该 URL 在返回结果中的排名\t 用户点击的顺序号\t 用户点击的 URL 其中，用户 ID 是根据用户使用浏览器访问搜索引擎时的 Cookie 信息自动赋值，即同一次使用浏览器输入的 不同查询对应同一个用户 ID
大数据综合案例-搜狗搜索日志分析(修复版final).doc
12-20
基于搜狗查询数据500w条使用MapReduce做数据清洗，hive做离线分析的项目，详细文档附数据连接，搜狗实验室的搜索数据下载后缺少了用户ID字段的数据，所以本分析采用的是完整的数据，大家可以放心下载，如果下载数据的百度云链接失效无法下载，大家可以给我留言。
Hive小实验，对搜狗日志进行分析
m0_52857498的博客
05-17 825
Hive小实验，对搜狗日志进行分析
IDEA+MapReduce+Hive综合实践——搜狗日志查询分析
qq_51438138的博客
11-17 2352
IDEA+MapReduce+Hive综合实践——搜狗日志查询分析
hive——3. hive实例：搜狗用户搜索日志
ant的博客
05-30 3015
数据来源： 搜狗实验室官方网站的用户查询日志，http://www.sogou.com/labs/resource/q.php 第一列：搜索时间 第二列：用户ID 第三列：搜索内容 第四列：搜索内容出现在搜索结果页面的第几行 第五列：用户点击的是页面的第几行 第六列：用户点击的超链接 可以看到第四列和第五列之间是空格不是tap，使用记事本查找替换，记事本输入tap无效，可以复制...
搜狗搜索日志分析
热门推荐
ban2413的博客
11-25 2万+
1. 概述 本文利用搜狗搜索日志的500w条数据，对搜索日志进行了一系列的分析。主要分为两个阶段，第一阶段是数据准备、数据预处理和数据加载阶段，第二阶段为分析阶段。 第一阶段首先下载数据，并在自己电脑上安装好实验所需的环境，然后通过数据扩展和数据过滤对原数据进行预处理，得到含有单独年、月、日、小时等字段且关键词和UID不为空的数据，最后将数据加载到HDFS上，并在Hive上创建数据库...
基于Hive的搜狗搜索日志与结果Python可视化设计
毕业作品网站
09-25 1345
id=14908接下来的步骤主要是：元数据库 Mysql 安装、Hive 安装部署、Hive SQL 数据分析、数据可视化。主要步骤包括：安装部署 Hive、启动 Hadoop 集群、进入 Hive 命令行、创建数据库和数据表、加载或导入数据、用Hive SQL 完成需求、使用 Python 实现数据可视化。本实验安装 MySQL 是为了给 Hive 提供元数据存储库，主要包括：yum 安装 MySQL、修改 MySQL root 密码、添加 zkpk 用户并赋予远程访问权限、修改数据库默认编码。
hive综合应用案例（自定义udf、pv分析、sqoop、azkaban、创建定时脚本）
weixin_43740680的博客
07-20 802
需求： 以下是代码实现： 第一步：创建表、加载数据 create table access_log( ip String, date String, address String ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’; LOAD DATA LOCAL INPATH ‘/opt/data...
Hive综合应用案例-用户搜索日志---------- 禁止修改 ---------- drop database if exists mydb cascade; ---------- 禁止修改 ---------- ---------- begin ---------- ---创建mydb数据库 create database if not exists mydb; ---使用mydb数据库 use mydb; ---创建表db_search create table if not exists db_search( id string comment '用户id', key string comment '搜索关键词', ranking int comment 'url在返回结果中的排名', or_der int comment '点击顺序', url string comment '网站域名', time string comment '日期') row format delimited fields terminated by ' ' lines terminated by '\n' stored as textfile; ---导入数据：/root/data.txt load data local inpath '/root/data.txt' into table db_search; --分析同一种搜索词，哪个网站域名被用户访问最多，并根据访问次数降序取前十。 select t.key,t.url,t.cnt from( select key,url,count(*) cnt,row_number() over (partition by key order by count(*) desc) rk from db_search group by key,url) t where t.rk<=1 order by t.cnt desc limit 10; ---------- end ----------修改
03-28
### Hive 用户搜索日志的数据处理与分析 #### 创建数据库 在使用 Hive 处理用户搜索日志之前，需要先创建一个数据库来存储相关的表和数据。可以通过以下 SQL 命令完成此操作： ```sql CREATE DATABASE IF NOT EXISTS search_logs; USE search_logs; ``` 上述命令会创建名为 `search_logs` 的数据库并切换到该数据库下工作[^2]。 --- #### 定义表结构 为了存储用户搜索日志，需定义合适的表结构。假设每条日志记录包含以下字段： - `log_id`: 日志唯一标识符 (BIGINT 类型) - `user_id`: 用户 ID (STRING 类型) - `query`: 搜索关键词 (STRING 类型) - `timestamp`: 时间戳 (TIMESTAMP 类型) 可以使用以下 HQL 语句创建表： ```sql CREATE TABLE IF NOT EXISTS user_search_logs ( log_id BIGINT, user_id STRING, query STRING, timestamp TIMESTAMP ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; ``` 这里指定了分隔符为 `\t` 并将文件存储为文本格式。如果数据源是其他格式（如 JSON 或 Parquet），可以根据实际需求调整存储方式[^3]。 --- #### 导入数据 Hive 支持多种方法导入外部数据。一种常见的方式是从 HDFS 文件系统加载数据至指定表中。例如，假设有已上传至 HDFS 路径 `/data/search_logs/` 下的日志文件，则可通过以下命令实现数据导入： ```sql LOAD DATA INPATH '/data/search_logs/' INTO TABLE user_search_logs; ``` 另一种更灵活的方法是利用 Sqoop 工具从关系型数据库（如 MySQL）提取数据并将其写入 Hive 表中[^1]。 --- #### 执行 SQL 查询 一旦完成了数据准备阶段，就可以针对这些数据执行各种复杂的查询操作以满足业务需求。下面列举几个典型场景及其对应的 SQL 实现方案： ##### 场景一：统计每天的总搜索次数 ```sql SELECT DATE(timestamp) AS date, COUNT(*) AS total_searches FROM user_search_logs GROUP BY DATE(timestamp); ``` ##### 场景二：找出最热门的前十个搜索词 ```sql SELECT query, COUNT(*) AS frequency FROM user_search_logs GROUP BY query ORDER BY frequency DESC LIMIT 10; ``` ##### 场景三：按时间段划分用户的活跃度分布情况 ```sql WITH time_buckets AS ( SELECT CASE WHEN HOUR(timestamp) BETWEEN 0 AND 5 THEN 'Night' WHEN HOUR(timestamp) BETWEEN 6 AND 11 THEN 'Morning' WHEN HOUR(timestamp) BETWEEN 12 AND 17 THEN 'Afternoon' ELSE 'Evening' END AS period, COUNT(*) AS count_per_period FROM user_search_logs GROUP BY period ) SELECT * FROM time_buckets ORDER BY count_per_period DESC; ``` 以上示例展示了如何通过简单的聚合函数以及窗口函数挖掘隐藏于原始数据背后的洞察力。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ssaty.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值