热门搜索分析

B站热门视频数据采集实战:从关键词搜索到互动指标分析 本文详细介绍了B站热门视频数据采集的实战方法,从关键词搜索到互动指标分析。通过Python爬虫技术,可以高效获取视频基础信息和核心互动数据,帮助内容创作者和数据分析师优化发布策略。文章还分享了数据清洗、存储技巧及合法合规的采集规范,是B站数据分析的实用指南。 阅读详情
热门搜索分析:
	首先说下,我能想到的:

		1.一般是 mysql 存储

			1>创建数据表
				hot_keywords - 热门关键字表
					id
					identifier - 标识类型:fulltime - 全职 | parttime - 兼职 ...
					keyword - 关键字
					count - 统计次数
					created_at 
					updated_at

			2>每次用户搜索一次,首先查询数据库中,有无对应的关键字
				不存在 - 新建&次数+1,
				存在 - 次数+1

			3>页面展示热门关键字
				查询 hot_keywords,count 倒序,列出指定条数即可

		2.我们都知道优化,纯 mysql 方式,是不是有点不够优化,就想到能否借助缓存,一般就是 redis 了。

			点击热门标签,进行搜索,或者通过搜索框,进行搜索。这种频率是否会很高,不断的更新表,会不会影响性能。所以,考虑是不是可以借助 redis,来稍微延迟下更新到 mysql。(我从来没有做过此方面测试,包括所有自以为的或者听网上别人说的优化,所以这只是我自己这么想的,没有更高级的思维!适合新手)

			我们这里强调下:
				我们这里的方案,主要还是以 mysql 来存储,只是不那么频繁更新 mysql,而是通过 redis 来存储,10分钟(或其他时间)来执行一次
				10分钟执行一次,就需要使用 '计划任务'。

			1>上面的 hot_keywords 仍旧需要创建

			2>redis 这块考虑怎么设计
				我们需要记录的内容很简单,就是 10 分钟有效期内的:
					identifier - keyword - count
				哪个类别下,关键字的次数

				对于每个类别,我们可以单独命名为一个 key,例如:hot_keywords_fulltime | hot_keywords_parttime
				该 key 下,我们存储 keyword - count 的映射表,最适合我们的数据结构是:hash

				我们可以存储:
					HINCRBY hot_keywords_fulltime keyword 1

			3>redis 这里的逻辑实现
				10分钟内,只要有用户搜索,redis 执行上述命令即可。我们根据业务,可能有多个 identifier 的 hash
					HINCRBY hot_keywords_fulltime keyword1 1
					HINCRBY hot_keywords_fulltime keyword2 1
					...

					HINCRBY hot_keywords_parttime keyword1 1
					HINCRBY hot_keywords_parttime keyword2 1
					...


				到达10分钟,我们执行任务计划。
					1.获取所有的 hash,使用 HGETALL 获取所有的元素(这里以 PHP 为例,得到一个数组)
						$redis_hot_keywords = [
							'keyword1' => 2,
							'keyword2' => 1,
							'keyword3' => 3,
						];

					2.获取所有的 keyword
						$all_keywords = array_keys($redis_hot_keywords);
						$sql = 'select keyword from hot_keywords where keyword in (' . trim(join(',', $all_keywords), ',') . ')';
						获取已经存在在数据库中的所有的 keyword,$exists_keywords = [];

						// 拼接
						$batch_execute_sql = '';
						foreach($redis_hot_keywords as $keyword => $count){
							if(in_array($keyword, $exists_keywords)){
								$batch_execute_sql .= "update hot_keywords set count = count + {$count} where identifier = '{$identifer}'' and keyword = '{$keyword}';";
							}else{
								$batch_execute_sql .= "insert info hot_keywords (identifier, keyword, count) values('{$identifier}', '{$keyword}', 1);";
							}
						}
						执行 $batch_execute_sql;

					3.直接删除 redis 中相关的 key
						DEL hot_keywords_fulltime, hot_keywords_parttime, ...

		/*
			对于,方法1和2,我们只考虑的是 "插入",对于 "查询",我们是不是应该也可以优化。
			另外,当我不断更新表,每次访问页面,都会展示 "查询" 结果,每次都去查询数据库,是不是也有点不优化。
			主要是这个数据,不是核心的,有些延迟、误差都没大的关系。
			所以,考虑,再添加额外的查询的缓存:
				hot_keywords_show - 最终展示的 keyword 列表(可以设置10分钟更新一次)

			对于方法1:
				添加个任务计划,10分钟执行一次,mysql 获取最多次数的keyword,然后插入到 redis 中

			对于方法2:
				我们已经有10分钟,执行批量插入的任务计划了,待插入结束后,执行一次 redis 缓存更新即可。

			另外,对于数据不足,或者还没有 keyword 数据,我们应该默认的 keyword 列表。这应该是 10分钟计划任务时,进行判断。

				1>默认关键字,假设8个:
					keyword1, keyword2, ...
				2>查询数据库,发现就3个关键字,或者发现,关键字搜索的次数,才1、2次,这种随机性太高,我觉得不适合作为通用的 keyword,所以,还得设置个标准,达到 100次,或50次以上,才能作为 keyword。查询 count >= 50 的 keyword ,不断的替换了 默认关键字
				3>插入到 hot_keywords_show 中,数据结构随便定义,简单的话,直接使用 string。8个 keyword,用 ',' 分割即可
		 */


		3.不使用 mysql,完全使用 redis
			因为要进行排序,为了方便,我们直接使用 'zset' 数据类型(使用 list 应该也可以,自己维护一个有序的列表,只是猜想)

				ZINCRTY hot_keywords_fulltime 1 keyword1
				ZINCRTY hot_keywords_fulltime 1 keyword2
				...

				ZINCRTY hot_keywords_parttime 1 keyword1
				ZINCRTY hot_keywords_parttime 1 keyword2
				...

			获取关键字时,我们可以使用:
				ZREVRANGE hot_keywords_fulltime 0 8			// 按 count 倒序,获取前8个 keyword


	请教了个大神,人家简单给了个思路,直接就是从 "性能"、"算法" 出发的,下面简述下大神的思路:

		/*
			问题是这样,你每个用户来访问的时候。你都需要把 redis 里面的所有数据取出来,然后做排序。。。如果量大的话。。。你的性能会有问题

			如果你了解过算法的话。。。你应该明白 排序是一个比较复杂的计算

			所以不是你用户量的问题,而是搜索量的问题,所以不要排序(我说了句,用户量比较少)

			建议不要使用redis 的 zset 进行排序

			比如说你有
				标签 1 --- 搜索次数 7
				标签 2 --- 搜索次数 6
				标签 3 --- 搜索次数 5

				现在我们只要两个热门搜索,那当前的搜索阈值是 6

			你现在需要更新维护的就是 索引阈值 以及 热门搜索数量

			把排序的复杂度降低

			这样对于 空间 和 时间 都是最节省的

			你可以先抛开 redis

			你会更明白

			就是简单的数据结构

			比如说你只需要 10 个热门搜索,你有一堆数据

			你的原始数据应该是个数组:[]
			然后你有一个变量来存目前的阈值 var
			最后你需要维护一个 10 个的热门搜索,这个也是一个数组:[]

			这个还可以优化的,不过留给你自己去想了。你可以把这个 10 个热门搜索的数组变成一个 hash map {}

			我只是帮你 预见一些问题。。。然后在工程复杂度增加不到的情况下 可以尽量避免掉
		*/

	大家可能不太理解说的啥,没有我问的上下文。简单说下,大神的思路:
		尽量少用排序,不管是 mysql,还是 redis,排序是一个及其耗费性能的操作
		对于我们只需 "热门标签",这个其实,就顶多几个最热的标签,而不是 "排行榜",非得全部进行排序。
		我们仅仅只需要维护一个 10 个左右的热门标签数组,参与排序的元素就这么 10 个左右,性能会大大提升!

		分析后,该功能的实现,必须具备2个因素:
			1.记录阈值,可以理解为,成为热门标签,最少的点击次数
			2.热门标签的点击次数,要>=阈值,这个对于我们的数据库,至少具有筛选功能。

		实现难度:	
			1.筛选功能的话,感觉 redis 并没有适合的数据类型,没看到提供的方法。mysql 只需要一个 where 语句,就可以筛选出来!
			2.这个 "阈值",这个思考了下,可能可以通过程序逻辑,可以实现,但是估计异常复杂...,我感觉还不如直接排序简单...

		这里,我就不再继续研究了,完全没看过算法,水平有限,另外平台用户量也很小,还不是特别注重性能的阶段...

此外,对于热门关键字,我们还需要考虑:
	关键字的要求,哪些搜索,可以作为关键字!
	过长、过短,是不是词,等等,就是关键字的要求。
	以及和时间相关联上,可能是最近 3 天或最近 7 天的热门关键字等等(这就需要添加时间了关联了,主要是 redis,我们可以将之前的 key 稍微改造:2017_07_23:hot_keywords_fulltime)

参考下面这篇文章,提到的:
	http://qb.doudang.com/www/doc/view/?doc_id=2371

 

python第二次小考作业----利用豆包ai工具完成对小红书关键搜索词数据可视化分析案例 从这些列表中可以看出,微信好友在国家层面主要集中在中国,在省份层面主要集中在黑龙江。而其他国家和省份的好友数量相对较少且分布较为分散。我将把不同国家和省份的微信好友数量统计结果以列表形式展示。 阅读详情

相关推荐

阿里巴巴外贸版热门搜索词抓取与分析教程

Pyppeteer 是基于 Node.js 的 Puppeteer 的 Python 端口,提供了与 Selenium 类似的功能,但是它更加轻量级,启动速度快。Pyppeteer 默认不安装任何浏览器,但可以通过命令行工具自动下载 Chromium,这使得 Pyppeteer 的安装和配置更加简便。

weixin_35677363的博客 1740

Java、redis、springboot、ruoyi实现热搜及最近搜索

java实现最近搜索,热门搜索

qq_41060647的博客 2402

点击搜索框弹出热门搜索以及点击缓一缓 实现换一批热门关键词的实现思路以及代码 .zip

点击搜索框弹出热门搜索 以及点击缓一缓 实现换一批热门关键词的实现思路以及代码 。如有不明可留言咨询。

使用Redis实现热搜功能

笔者这里写的是每天凌晨将前十个热搜删除,这个方法写的比较烂,大家可以自己查询学习一下比较好的热搜算法,对热搜进行维护。(可以将这些数据放入mysql统一管理或者使用一个变量作为热度因子对热搜真实热度进一步统计)i<10;i++){(完)

yuanyajieh的博客 1596

架构设计之架构治理

架构治理的本质是“用规则约束复杂性,用流程保障落地,用数据驱动优化”先定目标:明确量化的治理目标,避免盲目行动;立标准:建立覆盖分层、选型、接口、拆分的统一规范,奠定治理基础;强评审:通过架构评审把控设计环节,提前规避风险;全流程:将治理规则贯穿设计、开发、测试、部署、运维全生命周期;重保障:通过组织、流程、工具确保治理落地,而非“纸上谈兵”;持续迭代:随业务与技术演进优化治理规则,避免“一劳永逸”。

xiaolyuh的专栏 814

医疗影像技术实战:如何用Python快速生成DRR图像(附完整代码)

本文详细介绍了如何使用Python实现数字重建放射影像的快速生成。通过实战代码,从基础光线投射算法到性能优化,逐步讲解DRR图像生成的核心原理与工程实践,帮助开发者掌握医疗影像处理的关键技术,赋能放射治疗规划与图像引导手术等临床工具开发。

k8l9m0n的博客 75

基于redis实现【最热搜索】和【最近搜索】功能

redis实现最近搜索和最热搜索功能

Hanson的博客 3284

Ubuntu图形界面崩溃?从tty到GUI的终极修复指南

本文提供了Ubuntu图形界面崩溃后进入tty的终极修复指南。详细介绍了如何诊断显示管理器(如LightDM或GDM3)状态,并通过重装、切换显示管理器、修复依赖、系统升级及排查显卡驱动等核心方案,逐步恢复GUI。帮助用户从命令行界面高效修复桌面环境,避免数据丢失。

vulkan6gpu的博客 778

【搜索分析引擎】Elasticsearch

Elasticsearch(简称ES)是一个分布式、可扩展、实时的搜索与数据分析引擎,它基于Apache Lucene构建,提供了全文搜索、结构化搜索、数据分析、复杂的语言处理、地理位置和对象间关联关系等多种功能。

欢迎指错||纠正||建议||水评+点赞&&评论&&关注&&转发 3193

UE4/5项目GPU崩溃?可能是Windows的TDR机制在搞鬼!深入浅出聊聊TdrDelay与显卡超时

本文深入探讨了UE4/5项目中GPU崩溃的常见原因,揭示了Windows TDR机制的工作原理及其对渲染进程的影响。通过调整TdrDelay参数和优化GPU负载,提供了解决显卡超时问题的实用方案,帮助开发者提升项目稳定性。

weixin_30691649的博客 411

CANbus收发器TJA1051T/3/1J应用原理图设计

该收发器是为汽车工业中的高速CAN应用而设计的,为(一个带有)CAN协议控制器的微控制器)提供差分传输和接收能力。它提供了改进的电磁兼容性(EMC)和静电放电(ESD)性能,还具有:当电源电压关闭时,TJA1051T/3和TJA1051TK/3可以直接与电源电压从3V到5V的微控制器接口。这种实现能够在CAN FD快速阶段以高达5 Mbit/s的数据速率进行可靠的通信。TJA1051T/3和TJA1051TK/3上的VIO输入允许直接连接3 V至5 V微控制器(分别提供SO8和极小的HVSON8封装)

zhusl6688的博客 3615

ES常识8:ES8.X如何实现热词统计

数据采集:记录搜索词及关联信息(时间、用户、点击等)。索引设计:使用keyword类型存储搜索词,优化聚合性能。聚合统计:通过terms聚合计算词频,结合时间窗口和加权指标。缓存优化:定时预计算结果并缓存,降低实时查询压力。接口实现:提供 HTTP 接口返回缓存或实时聚合结果。通过以上步骤,可高效实现一个兼顾实时性与性能的热门搜索词推荐系统。

qq_30118563的博客 1611

大模型之Spring AI实战系列(一):基础认知篇 - 开启智能应用开发之旅

Spring AI 是一个轻量级开源框架,旨在简化 AI 模型在企业级 Java 应用中的集成与管理。它提供了跨多个 AI 服务提供商的便携式 API,支持聊天、文本转图像、嵌入式模型等多种功能,并兼容主流的 AI 模型提供商如 OpenAI、Google 等。Spring AI 的核心功能包括结构化输出、向量数据库支持、工具/函数调用、可观察性、文档摄取 ETL 框架、AI 模型评估等。

寻道AI,探索AI无限可能! 6371

热门开源Ai搜索引擎对比分析

Mindsearch的Agent设计比较复杂一些,会对问题进行拆解并多次检索,适用于一些深度的总结,有点类似于Perplexity的深度搜索模式。其他几个AI搜索引擎基本流程都是调用搜索引擎对问题进行检索,然后由模型对答案进行总结生成,Agent都比较固定,甚至有一些都没有对问题进行改写。此外,这些框架都能提供数据源支撑,并且生成相似的问题推荐,也是符合目前对主流搜索框架的要求。

深度学习机器 2868

TIA西门子博途V19安装教程及注意事项

TIA西门子博途V19安装教程及注意事项

Robot_PLC_HMI_Automation 1万+

Mathematica 训练课(12)常用注释方法

Mathematica从入门到进阶

qq_25018077的博客 9075

百度前100个热门搜索词汇算法思路分析

题目描述 某搜索引擎,就比如百度,每天的用户搜索词汇是百亿数据量,请设计一种算法,求出每天热门Top100词汇。 思路分析 首先,还是基于哈希分流的思想,用哈希函数,将问题映射到N台分布式计算机上统计各个搜索词频。 假设1000台分布式计算机,那么,此时,原始的数据就平均分成了1000份,并且,因为哈希函数的性质,相同的数据肯定会被分配到相同的分布式计算机上,因此,这1000台各自统计的数据都是正确无误的,相同词汇不可能出现在两台分布式计算机上。 然后,在各自的分布式计算机上,维护一个大根堆,堆顶就是出现频

weixin_43923436的博客 1276

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

如何设计一个热门搜索

设计热门搜索需要以下步骤: 确定目标用户群:了解用户的需求和偏好,确定搜索内容。 收集数据:利用分析工具(如 Google Analytics)收集搜索关键词和搜索次数。 分析数据:对收集的数据进行分析,识别出热门搜索词。 排序:根据搜索频率排序,确定热门搜索的顺序。 实施:将热门搜索词展示在显眼的位置,以方便用户查询。 评估:定期评估热门搜索的效果,并进行必要的修改。 ...

weixin_35752645的博客 413

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

哔哩哔哩-API收集整理:API文档搜索关键词分析与热门查询展示

在日常使用哔哩哔哩(B站)时,你是否曾遇到过搜索结果不准确、找不到想要的内容等问题?本文将围绕B站搜索API(Application Programming Interface,应用程序编程接口)展开,深入分析关键词的搜索机制、热门查询的展示方式,帮助你更好地理解B站搜索功能的底层逻辑,提升搜索效率。读完本文,你将了解到B站搜索API的基本使用方法、关键词分析技巧以及热门查询的获取方式。 ## ...

gitblog_00171的博客 2493

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Python学习从0到1 day26 第三阶段 Spark ⑤ 搜索引擎日志分析

① 每一次链接调用时,都可以在上一层的末尾加上" \ "进行换行,再用” . “进行调用。② 将数据转换为JSON格式最好的方式是先转换为字典,再由字典转换为JSON格式。① 打印输出:热门搜索时间段(小时精度)Top3。④ 将数据转换为JSON格式,写出为文件。② 转换为(小时,1)的二元元组。② 转换为(小时,1)的二元元组。① 取出全部的时间并转换为小时。① 转换为JSON格式的RDD。③ Key分组聚合Value。③ Key分组聚合Value。② (词,1) 二元元组。① 取出全部的搜索词。

m0_73983707的博客 1152

从爬取微博中搜索的热门事件到数据分析处理全过程(一)

从爬取微博中搜索的热门事件到数据分析处理全过程(一) 本文主要阐述了作者爬取新浪微博中搜索关键词搜到的微博,不涉及技术上的讲解,主要是大体思路,因为本人比较懒,可能第二部分或遥遥无期,但是还是希望大家多多支持: 一、爬取对象及缘由 我爬取的主要是关于医患冲突的微博,初衷是为了分析医患冲突的舆情。想要爬取的对象有用户名、正文、时间、转发数、点赞数、还有评论数。爬取正文是可以做情感分析或...

xiaoJLU的博客 1万+

Hive揭秘:探索用户搜索日志分析的奇妙之旅

在本次用户搜索日志分析之旅中,Hive 凭借其强大的数据处理能力和便捷的类 SQL 查询功能,为我们呈现了一场精彩的数据洞察盛宴。从数据的收集、清洗,到建表存储,再到深入的数据分析,Hive 在每一个环节都发挥了关键作用。通过对用户搜索日志的分析,我们成功挖掘出了热门搜索词、用户搜索行为模式以及搜索结果点击情况等有价值的信息,这些信息为产品优化和精准营销提供了有力的支持。展望未来,随着大数据技术的不断发展,Hive 在用户搜索日志分析领域的应用前景将更加广阔。

大雨淅淅的博客 852

Hive综合应用案例:用户搜索日志分析1. 案例背景某电商平台需要分析用户的搜索行为,以优化搜索算法和推荐系统。原始搜索日志数据存储在HDFS中,需要利用Hive进行数据清洗、转换和分析。

某电商平台需要分析用户的搜索行为,以优化搜索算法和推荐系统。原始搜索日志数据存储在HDFS中,需要利用Hive进行数据清洗、转换和分析。- 发现搜索体验中的问题点(如无结果的查询)# Hive综合应用案例:用户搜索日志分析。### 4.2 用户搜索行为分析。### 4.3 搜索转化漏斗分析。### 4.1 热门搜索词分析。2. 用户搜索行为的多维度分析。-- 按日期分区的搜索日志表。

weixin_66625287的博客 1281

hive综合应用案例 — 用户搜索日志分析

**用户ID**、**搜索关键词**、**搜索时间**、**设备类型**、**搜索结果点击情况**等。1002,"机械键盘",2023-10-01 14:10:56,"desktop",1。**目标**:使用Hive进行数据分析,挖掘用户搜索行为特征,优化搜索推荐系统。- **用户搜索时间分布** → 调整服务器资源或促销活动时间。- 使用**机器学习**(如PySpark)预测热门搜索趋势。- **设备差异** → 优化移动端/PC端搜索体验。2. **基础分析**(搜索量、设备分布、CTR)

weixin_66625287的博客 935

今日热门项目推荐:analysis-stconvert - 实现简繁中文智能转换的搜索分析利器

今日热门项目推荐:analysis-stconvert - 实现简繁中文智能转换的搜索分析利器 【免费下载链接】analysis-stconvert ???? STConvert 是一款将中文字符在繁体和简体之间转换的分析器,中文简繁体互相转换。 ...

gitblog_01417的博客 725
上一篇: redis 数据迁移
下一篇: 再谈PHP错误与异常处理
beyond__devil
博客等级 码龄14年 147粉丝 314原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值