PYTHON爬虫 抓取论坛关键字出现频率

前言：

之前学习了用python爬虫的基本知识，现在计划用爬虫去做一些实际的数据统计功能。由于前段时间演员的诞生带火了几个年轻的实力派演员，想用爬虫程序搜索某论坛中对于某些演员的讨论热度，并按照日期统计每天的讨论量。

这个项目总共分为两步：

1. 获取所有帖子的链接：

将最近一个月内的帖子链接保存到数组中

2. 从回帖中搜索演员名字：

从数组中打开链接，翻出该链接的所有回帖，在回帖中查找演员的名字

 

 

获取所有帖子的链接：

搜索的范围依然是以虎扑影视区为界限。虎扑影视区一天约5000个回帖，一月下来超过15万回帖，作为样本来说也不算小，有一定的参考价值。

完成这一步骤，主要分为以下几步：

1. 获取当前日期

2. 获取30天前的日期

3. 记录从第一页往后翻的所有发帖链接

 

1. 获取当前日期

这里我们用到了datetime模块。使用