Python爬取新闻标题及链接存储至MySQL（含源码）

最新推荐文章于 2022-04-15 17:42:50 发布

陈同学q

最新推荐文章于 2022-04-15 17:42:50 发布

阅读量1.9k

点赞数

分类专栏： Python 文章标签：爬虫 python mysql 数据库数据持久化

本文链接：https://blog.youkuaiyun.com/qq_54528857/article/details/122273289

版权

该代码实现从清华大学官网新闻页面抓取文章标题和URL，存储到MySQL数据库中。首先，使用requests库获取网页内容，再利用lxml库解析HTML，通过XPath选择数据。然后，遍历数据并存储到list列表中。接着，建立与MySQL的连接，通过游标执行插入操作，确保数据提交成功。最后，关闭游标和连接。注意，运行前需在MySQL创建对应表并配置正确连接信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

请求网页： https://www.tsinghua.edu.cn/news.htm/

一. 首先要获取数据，将数据暂存于 list列表

二. 将数据存储至MySQL：
                1.创建连接
                2.创建游标
                3.传入参数，执行命令
                4.数据提交（提交至MySQL）
                5.关闭游标、链接

注意：运行代码前在MySQL新建表，做到代码与数据库的3个对应：
                        1. 用户名、密码对应
                        2. 数据库名对应
                        3. 传入参数时的表名、表中栏位名对应

运行结果：

```源码```


import pandas as pd
import pymysql
import requests
from lxml import etree


# 请求网址
url = 'https://www.tsinghua.edu.cn/news.htm'
# 请求头
header = {
   
    'user_agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36'
}
# 获取响应 
response &#

最低0.47元/天解锁文章