基本开发环境
- Python 3.6
- Pycharm
相关模块的使用
import requests
import parsel
import csv
import time
安装Python并添加到环境变量,pip安装需要的相关模块即可。
需求数据来源分析
热搜榜数据, 每次刷新上面的热度数值都是会发生边改变,每隔一段时间可以爬取一下榜单数据,然后可以做一个数据展示。
热搜榜数据内容还是比较好爬的, 因为是静态网页数据内容, 如果大家有认真看过之前的问题,那么这个网站还是很好爬取的。
代码实现
每一分钟爬取一次数据内容
import requests
import parsel
import csv
import time
f = open('热榜.csv', mode='