Python爬取微博热搜存入数据库并定时发送邮件，及时了解！

最新推荐文章于 2024-03-13 16:41:40 发布

原创

最新推荐文章于 2024-03-13 16:41:40 发布 · 426 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #ajax #sqlite3 #mysql #数据分析

本文介绍了一个Python程序，用于定时爬取微博热搜并将其存储到数据库，同时通过邮件发送最新资讯，帮助读者在不打开微博的情况下了解微博动态。

一、前言

微博热搜榜每天都会更新一些新鲜事，但是自己处于各种原因，肯定不能时刻关注着微博，为了与时代接轨，接受最新资讯，就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序，这样每天可以在不打开微博的情况下，时刻掌握着微博的最新动态资讯。

废话不多说，下面直接上代码以及详细思路。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

二、代码及思路

（1）首先肯定是对微博热搜进行爬取，这并不难，是个非常简单的爬虫。

def getHTML(url):
    
    headers={
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36",
    } # 浏览器请求头
    r = requests.get(url, headers = headers) # 向该网页发起请求
    # 如果返回的响应码是200 则表示请求成功，否则返回“获取失败”
    if r.status_code == 200:
        r.encoding = r.apparent_encoding 
        return r.text
    else:
        return "获取失败"

（2）接下来对返回的源码进行解析，这边我用的是xpath。