【PYTHON】案例之爬微博热搜(源代码)

Dxcxcdcdx

已于 2024-05-30 17:13:37 修改

阅读量359

点赞数 1

分类专栏： Python 文章标签： python

于 2024-05-30 17:09:28 首次发布

本文链接：https://blog.youkuaiyun.com/d516715596/article/details/139329618

版权

"""
    - 爬取微博热搜
    思路：网页数据请求；获取数据之后用正则筛选出来；保存数据。
    - cookie : 用户信息，常用来检测是否有用户账号。
      user-agent : 用户代理，表示浏览器基本身份识别。
"""
import requests  # 数据请求模块
import parsel    # 数据解析模块
import csv       # 数据保存

# todo:创建csv数据文件
# encoding = 'utf-8' pycharm能识别，表格不行；'ANSI' 编码则相反。
f = open('热搜.csv',mode='a',encoding='utf-8',newline='')        # 创建文件；
csv_writer = csv.DictWriter(f,fieldnames=['排名','标题','热度'])   # 配置文件；
csv_writer.writeheader()    # 写入表头

# todo:获取数据
url = 'https://s.weibo.com/top/summary?cate=realtimehot'  # 请求网站；
# 请求头伪装；
headers = {
    'Cookie': 'SUB=_2AkMU9mmsf8NxqwFRmP8Rzmrlbot0yAnEieKiqph3JRMxHRl-yT92qhEjtRB6P3ZHQ5qb66OWK7Rh_MPU1zKm_35-BxYW; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9W5VvgDVgzE02F1yAw0LuOhT; _s_tentry=www.baidu.