Python的爬虫-mysql的导入实例（新浪新闻）

最新推荐文章于 2024-05-15 22:02:48 发布

带鱼工作室

最新推荐文章于 2024-05-15 22:02:48 发布

阅读量980

点赞数

CC 4.0 BY-SA版权

分类专栏： mysql 爬虫文章标签： python数据库连接

本文链接：https://blog.youkuaiyun.com/liaoningxinmin/article/details/80621605

爬虫同时被 2 个专栏收录

6 篇文章

订阅专栏

mysql

4 篇文章

订阅专栏

本文介绍如何使用Python爬取新浪新闻数据，并利用pymysql将数据存储到MySQL数据库的过程。详细展示了设置数据库连接、执行SQL插入语句及提交事务等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先用我们选用SQLyog进行数据库的存储，在开始阶段我们将在里面创建一个库和一个表用来存储爬到的数据。

这是我们创建的一个数据库名为:taiwan 表名:xinlang的mysql其中包括新闻的主题、时间、以及href网址

接下来我们通过Python爬取到的结构化数据导入到数据库中(爬取部分我就不详细介绍之前讲过)，对于Python我们用到的mysql链接数据库的库:import pymysql.cursors是这个。

数据库导入部分的代码:

for i in range(0,len(list_title)):
    connection = pymysql.connect(host='localhost',
                                user='root',
                                password='root',
                                db='taiwan',
                                charset='utf8mb4')
    try:
            # 获取会话指针
        with connection.cursor() as cursor:
            # 创建SQL语句
            sql = "insert into xinlang(title,time,href) values(%s,%s,%s)"
			#sql1 = "insert into xinlang(time) values(%s)"
			#sql2 = "insert into xinlang(href) values(%s)"	
            # 执行SQL语句
            cursor.execute(sql,(str(list_title[i]),str(list_time[i]),str(list_href[i])))#重点
			
			
            #提交
            connection.commit()
    finally:
        connection.close()

简单说一下cursor.execute()方法，里面主要有两个参数cursor.execute(sql（需要执行的sql语句）,(导入数据库的每列此实例中有title,time,href))。

运行成功:

源代码:

import pymysql.cursors
from pymysql import connect
import requests
from bs4 import BeautifulSoup
res=requests.get('http://news.sina.com.cn/china/')
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
list_title = []
list_href = []
list_time = []
for news in soup.select('.news-item'):
        if len(news.select('h2'))>0:
            h2=news.select('h2')[0].text
            time=news.select('.time')[0].text
            a=news.select('a')[0]['href']
            list_title.append(h2)
            list_time.append(time)			
            list_href.append(a)
			
for i in range(0,len(list_title)):
    connection = pymysql.connect(host='localhost',
                                user='root',
                                password='root',
                                db='taiwan',
                                charset='utf8mb4')
    try:
            # 获取会话指针
        with connection.cursor() as cursor:
            # 创建SQL语句
            sql = "insert into xinlang(title,time,href) values(%s,%s,%s)"
			#sql1 = "insert into xinlang(time) values(%s)"
			#sql2 = "insert into xinlang(href) values(%s)"	
            # 执行SQL语句
            cursor.execute(sql,(str(list_title[i]),str(list_time[i]),str(list_href[i])))
			
			
            #提交
            connection.commit()
    finally:
        connection.close()
print("数据库导入ok！")