数据处理之搜索关键词分析

OnTheRoad_Kang

于 2019-05-27 16:09:47 发布

阅读量2.4k

点赞数

分类专栏： Big Data 技术点 Hive 文章标签：数据处理检索分析

本文链接：https://blog.youkuaiyun.com/qq_32297447/article/details/90605334

版权

Big Data 同时被 3 个专栏收录

46 篇文章

订阅专栏

技术点

15 篇文章

订阅专栏

Hive

7 篇文章

订阅专栏

博客介绍了离线数据处理，利用Hive进行分析，包括保留汉字、字母、数字，去除开头数字以及过滤垃圾数据等操作，聚焦于信息技术领域的数据处理工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

####离线数据处理，hive分析（保留汉子、字母、数字、开头数字去除、过滤垃圾数据）
在这里插入图片描述

select content,count(1) wordsnumber from (
select regexp_replace(split(eventname,'_')[1],' |，|：|/|-|\r|\n|[[^0-9a-zA-Z\\\u4e00-\\\u9fa5]]','') content from commodlog where eventname like '搜索关键词%' ) as a where content not REGEXP '^[0-9]' and content !='' and content !='null' group by content sort by wordsnumber ASC;

在这里插入图片描述