微博百度热搜收集

背景

      大家都有使用微博、百度吧，而每天的热搜想必大家也用的不少。微博、百度的热搜有7、8种分类，每个单独查看比较耗费时间，效率极低，大概要花费3，4分钟左右。最近闲来无事，冒出个想法，是不是有啥工具能全部下载下来呢？

      通过强大的百度，找到了一个RPA自动化工作，可以满足我的需求，节省了3倍以上的时间

      接下来就以微博/百度为例，初步了解下这块RPA工具

      我目前采用的是“粒元数字员工”，官网地址：https://www.cxplan.cn/实际操作步骤

1、实际操作步骤

1、打开微博首页

2、点击“热搜榜”，抓取热搜，存入对应列表

3、点击“文娱榜”，抓取热搜，存入对应列表

4、点击“要闻榜”，抓取热搜，存入对应列表

5、调用子流程，打开百度首页

6、点击“查看更多”

7、点击“热搜”，抓取热搜，存入对应列表

8、点击“小说”，抓取热搜，存入对应列表

9、点击“电影”，抓取热搜，存入对应列表

10、点击“电视剧”，抓取热搜，存入对应列表

11、点击“汽车”，抓取热搜，存入对应列表

12、点击“游戏”，抓取热搜，存入对应列表

13、新建excel，通过对应列表写入数据

2、整体效果展示

3、脚本编辑

3.1、打开微博首页，设置3个list变量，

分别存放微博的3个热搜数据，这样的好处就是隔离每个热搜种类，为后面方便读取数据铺垫

3.2、通过“循环相似元素”指令，获取各种热搜的文本内容

“循环相似元素”指令十分强大，RPA可以从元素库中选择一个已捕获的元素，再获取页面上相似的元素，从来把页面上所有相似元素获取，进而可以获取它们的对象、元素文本内容、元素值等，终于再循环操作你想操作的

文本内容插入到每个列表中

具体脚本

3.3、子流程：百度搜索，

打开百度搜索页码，通过“循环相似元素”指令，获取各种热搜的文本内容；

此流程与上面微博循环相似元素类似

3.4、调用子流程，百度热搜

为什么会想到使用子流程呢？因为脚本一旦太多，复杂性提高，对于我这种小白，有时就会很难理解；使用子流程可以把脚本分块，更加容易理解，后期维护脚本也方便

3.5、内容写入

写内容我选择的是excel，文本、csv写入也是可以的，根据大家的情况选择咯

将之前存入list的文本内容，依次写入到excel，最后记得要保存excel

excel写入方式我选择的是“写入范围”：列，从第2行开始，每个list作为一列，一列一列的写入，sheet最好不要使用默认的，自己取名，区分各种数据

3.6、最后展示下热搜信息

4、总结

    这一套操作下来，大家觉得如何呢，反正我觉得挺好用的，十分适合懒人，简单总结一下

1. 此款RPA操作简单，入门容易，不会代码也能AI
2. 效率提升明显，原本搜罗这些热点信息需要3分钟左右，使用RPA之后，1分钟之内处理完成 
3. 永久收益，脚本只需编辑调试成功，后面重复使用，大大得解脱双手

tips：这里只有微博和百度，如果有其它平台也需要类似需求，小伙伴如果有需要可以留言，借一步说话。