Python爬取数据并写入MySQL数据库

最新推荐文章于 2025-06-16 12:59:03 发布
最新推荐文章于 2025-06-16 12:59:03 发布
阅读量4.2w 收藏 132
点赞数 22
CC 4.0 BY-SA版权
分类专栏： 爬虫 文章标签： python 爬虫 数据 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Oscer2016/article/details/70257956
本文介绍了一个简单的Python脚本，该脚本使用BeautifulSoup从颜色代码网站抓取颜色名称及其对应的十六进制值，并将这些数据存入MySQL数据库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据。

这里写图片描述

按 F12 或 ctrl+u 审查元素，结果如下:

这里写图片描述

  结构很清晰简单，我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签，下面是爬取的代码:

#!/usr/bin/env python
# coding=utf-8

import requests
from bs4 import BeautifulSoup
import MySQLdb

print('连接到mysql服务器...')
db = MySQLdb.connect("localhost","hp","Hp12345.","TESTDB")
print('连接上了!')
cursor = db.cursor()
cursor.execute("DROP TABLE IF EXISTS COLOR")
sql = """CREATE TABLE COLOR (
        Color CHAR(20) NOT NULL,
        Value CHAR(10),
        Style CHAR(50) )"""

cursor.execute(sql)

hdrs = {'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)'}

url = "http://html-color-codes.info/color-names/"

r = requests.get(url, headers = hdrs)
soup = BeautifulSoup(r.content.decode('gbk', 'ignore'), 'lxml')
trs = soup.find_all('tr')   # 获取全部tr标签成为一个列表
for tr in trs:              # 遍历列表里所有的tr标签单项
    style = tr.get('style') # 获取每个tr标签里的属性style
    tds = tr.find_all('td') # 将每个tr标签下的td标签获取为列表
    td = [x for x in tds]   # 获取的列表
    name = td[1].text.strip()       # 直接从列表里取值
    hex = td[2].text.strip()
    # print u'颜色: ' + name + u'颜色值: '+ hex + u'背景色样式: ' + style
    # print 'color: ' + name + '\tvalue: '+ hex + '\tstyle: ' + style
    insert_color = ("INSERT INTO COLOR(Color,Value,Style)" "VALUES(%s,%s,%s)")
    data_color = (name, hex, style)
    cursor.execute(insert_color, data_color)
    db.commit()
    # print '******完成此条插入!' 

print '爬取数据并插入mysql数据库完成...'

运行结果:
这里写图片描述

$ mysql -u hp -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 28
Server version: 5.7.17 MySQL Community Server (GPL)

Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use TESTDB
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from COLOR;
+----------------------+--------+----------------------------------------+
| Color                | Value  | Style                                  |
+----------------------+--------+----------------------------------------+
| IndianRed            | CD5C5C | background-color:indianred;            |
| LightCoral           | F08080 | background-color:lightcoral;           |
| Salmon               | FA8072 | background-color:salmon;               |
| DarkSalmon           | E9967A | background-color:darksalmon;           |
| LightSalmon          | FFA07A | background-color:lightsalmon;          |
| Crimson              | DC143C | background-color:crimson;              |
| Red                  | FF0000 | background-color:red;                  |
| FireBrick            | B22222 | background-color:fireBrick;            |
| DarkRed              | 8B0000 | background-color:darkred;              |
| Pink                 | FFC0CB | background-color:pink;                 |
| LightPink            | FFB6C1 | background-color:lightpink;            |
| HotPink              | FF69B4 | background-color:hotpink;              |
| DeepPink             | FF1493 | background-color:deeppink;             |

...

| AntiqueWhite         | FAEBD7 | background-color:antiquewhite;         |
| Linen                | FAF0E6 | background-color:linen;                |
| LavenderBlush        | FFF0F5 | background-color:lavenderblush;        |
| MistyRose            | FFE4E1 | background-color:mistyrose;            |
| Gainsboro            | DCDCDC | background-color:gainsboro;            |
| LightGrey            | D3D3D3 | background-color:lightgrey;            |
| Silver               | C0C0C0 | background-color:silver;               |
| DarkGray             | A9A9A9 | background-color:darkgray;             |
| Gray                 | 808080 | background-color:gray;                 |
| DimGray              | 696969 | background-color:dimgray;              |
| LightSlateGray       | 778899 | background-color:lightslategray;       |
| SlateGray            | 708090 | background-color:slategray;            |
| DarkSlateGray        | 2F4F4F | background-color:darkslategray;        |
| Black                | 000000 | background-color:black;                |
+----------------------+--------+----------------------------------------+
143 rows in set (0.00 sec)
Python爬取网站数据并存入数据库（简单易懂）
m0_51044151的博客
03-23 1万+
hello 大家好，最近写代码，需要用到爬虫去爬取数据，废话不多说，进入主题 既然要存入数据库，那必然需要进行数据库连接，通过Python里面的pymysql驱动去链接我们的mysql数据库，然后建立数据库游标，用户可以用SQL语句逐一从游标中获取记录，并赋给主变量，交由主语言进一步处理。 import pymysql conn = pymysql.connect(host='127.0.0.1', user='root', password='数据库密码', port=3306, database='bo
Python爬取数据并写入MySQL
热门推荐
qq_57741380的博客
10-20 1万+
关于爬虫爬取数据并存入MySQL数据库（以东方财富网上的股票数据为例，网页：深南电A(000037)资金流向 _ 数据中心 _ 东方财富网） 第一步，创建数据库中的数据表 import requests import pandas as pd import re import pymysql db = pymysql.connect(host='localhost', user='root', password='ls101945', db='东方财富', port=3306, charset='
python爬取新闻存入数据库_python爬取数据并保存到数据库中（第一次练手完整代码）...
weixin_39732491的博客
11-23 573
1.首先，下载需要的模块requests, BeautifulSoup, datetime, pymysql（注意，因为我用的python3.7，不支持mysqldb了），具体的下载方法有pip下载，或者使用Anaconda版本python的童鞋可以使用conda下载。2.创建conndb,py，包含数据库的连接断开，增删改查等操作：#!/usr/bin/env python# -*- codin...
python操作Mysql数据库
2501_91557222的博客
06-16 1355
READUNCOMMITTED：允许脏读，最低的隔离级别，性能最好，但容易出现数据不一致的情况。READCOMMITTED：解决了脏读问题，但可能出现不可重复读。REPEATABLEREAD：解决了脏读和不可重复读问题，但可能出现幻读。SERIALIZABLE：解决了所有问题，但性能最差，可能导致事务长时间等待。在选择事务隔离级别时，需要根据应用的具体需求平衡数据一致性和性能。如果事务数据不频繁冲突，可以选择较低的隔离级别以提升性能；而对于数据一致性要求极高的场景，则应选择更高的隔离级别，尽。
python爬虫写入数据库_python网络爬虫抓取动态网页并将数据存入数据库MySQL
weixin_39696518的博客
11-21 283
简述以下的代码是使用python实现的网络爬虫，抓取动态网页 http://hb.qq.com/baoliao/ 。此网页中的最新、精华下面的内容是由JavaScript动态生成的。审查网页元素与网页源码是不同。以上是网页源码以上是审查网页元素所以此处不能简单的使用正则表达式来获取内容。以下是完整的获取内容并存储到数据库的思路及源码。实现思路：抓取实际访问的动态页面的url – 使用正则表达式获取...
python爬取新闻存入数据库_Python爬取数据并写入MySQL数据库的实例
weixin_39601056的博客
11-20 846
按 F12 或 ctrl+u 审查元素，结果如下:结构很清晰简单，我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签，下面是爬取的代码:#!/usr/bin/env python# coding=utf-8import requestsfrom bs4 import BeautifulSoupimport MySQLdbprint('连接到mysql服务器...')db...
python写mysql
zhouwenyuan1015的博客
07-21 678
异常 Python mysql 插入数据时，遇到如下问题： 1）python AttributeError: ‘numpy.float64’ object has no attribute ‘translate’ 解决方法：生成dataframe 时，指定 数据类型， 将numpy.float64 转位numpy.object 2）插入数据后，某个用户id的记录书异常多，不符合预期，是因为数据类型越界，默认最大类型，结构都变为：2147483647 解决方法： 建表时，将字段类型int 改为big.
Python爬取数据并写入MySQL数据库的实例
09-09
在本实例中，我们将探讨如何使用Python编程语言从网页抓取数据并将其存储到MySQL数据库中。这个过程涉及两个主要部分：数据爬取和数据库操作。 1. **数据爬取**： 数据爬取通常使用Python中的第三方库，如...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
09-09
在本示例中，我们将深入探讨如何使用Python3编写一个简单的网络爬虫，该爬虫能够抓取特定网页上的数据，并将这些数据存储到MySQL数据库中。首先，我们需要了解几个关键的Python库，包括`requests`、`re`（正则表达式...
post
c_jiji_yy的博客
03-17 285
post： export const requestPost = (url,data={},configs={}) => { let headers = { 'Content-Type': 'application/json; charset=UTF-8' } let needLoading = false if(!configs.isNQS)...
写入mysql数据库
u012474716的博客
03-23 554
#导入Beautifulsoup包 from bs4 import BeautifulSoup as bs from urllib.request import urlopen import re # 请求URL并把结果用utf-8编码 resp=urlopen("https://en.wikipedia.org/wiki/Main_page").read().decode("utf-8")
利用python3爬虫爬取全国天气数据并保存入Mysql数据库
08-07
利用python3爬虫爬取全国天气数据并保存入Mysql数据库 具体可见博客 https://blog.youkuaiyun.com/u013523775/article/details/79313803
python控制MySQL写入写出
03-12
可以用python接收传感器串口数据，将数据传入本地MySQL或者云端MySQL
4000字，详解Python操作MySQL数据库
m0_64355682的博客
01-07 1221
本文的重点，就是教会大家，如何用Python来操作MySQL数据库。 1. 通用步骤 其实，这里有一个通用步骤，都是写死了的，大家照做就行。 # 1. 导入相关库 import pymysql # 2. 链接MySQL服务器 db = pymysql.connect(host='localhost' , user='root' , password='******' , port=3306 ,db='spiders' , charset='utf8') # 3. 创建一个cursor游标.
python爬虫写入数据库_Python爬虫数据写入mySQL案例
weixin_39843698的博客
11-26 566
此前在做《Python实现评论情感分析案例》的时候写了个爬虫从豆瓣上爬下了电影《肖申克的救赎》的2000条短评，然后调用SnowNLP来做了情感分析，这算是人工智能技术的一个应用。我的一个老朋友读了我那篇文章后给了个点评，说“主要的还是爬虫，主要能爬来数据，至于做什么分析都是次要的了”，他说的有一定的道理，做数据分析，没有数据，都是扯淡，因此，就写这篇文章，分享一下怎么从豆瓣上爬短评下来的。从刚开...
python爬虫数据（中国人口信息）存入MYSQL数据库
heibuliuqiu_gk的博客
06-03 5262
爬取网站:http://www.china-10.com/news/488659.html 代码以及注释如下： import requests from bs4 import BeautifulSoup import re import MySQLdb #连接数据库 db = MySQLdb.connect("localhost","root","123456","lianxi"...
写入数据mysql
xutingck的博客
08-17 263
import mysql.connector mydb = mysql.connector.connect(host = ‘localhost’, user = ‘root’, passwd = ‘001828abc.’, database = ‘gllogs’) mycursor = mydb.cursor() #mycursor.execute(“create database gllogs”) #print(mycursor.execute(“show databases”)) mycursor.ex
python爬取新闻存入数据库_python爬取数据存入数据库
weixin_39700625的博客
11-20 791
昨天本来写了一篇关于python爬取的文章，结果没通过，正好今天一起吧。用python同时实现爬取，和存入数据库，算是复习一下前面操作数据库的知识。1、准备工作既然是爬取，那自然要连接到爬取的页面，所以需要requests库。而爬取完成之后，还需要解析网页，因而也要导入BeautifulSoup库。因为后面要将数据存入数据库，所以这里也一并引入了pymysql库，而这个time库呢，主要就是用来间...
python爬取数据后写入数据库
最新发布
08-01
<think>我们正在讨论如何将爬取的数据存入数据库。根据引用内容，我们可以总结出以下关键步骤： 1. 连接数据库：需要提供数据库的地址、端口、用户名、密码、数据库名以及字符编码。 2. 创建游标：通过连接对象创建游标，用于执行SQL语句。 3. 执行SQL语句：包括创建表（如果需要）和插入数据。 4. 提交事务：对于增删改操作，需要提交事务以使更改生效。 5. 关闭连接：操作完成后关闭游标和数据库连接。 引用中提供了两种不同的数据库操作方式：一种是使用MySQLdb（引用[2]），另一种是使用pymysql（引用[3]）。MySQLdb是Python2时代常用的库，而pymysql是Python3中更常用的MySQL连接库。 下面我们将分别使用pymysql和MySQLdb（如果环境支持）来演示如何将爬取的数据存入数据库。 步骤： 1. 安装数据库驱动：如果使用pymysql，则安装pymysql；如果使用MySQLdb，则安装mysqlclient（MySQLdb的Python3兼容版本）。 2. 建立数据库连接。 3. 创建游标对象。 4. 执行SQL语句（创建表、插入数据等）。 5. 提交事务。 6. 关闭游标和连接。 示例1：使用pymysql 首先安装pymysql：`pip install pymysql` 然后参考以下代码： ```python import pymysql # 1. 连接数据库 db = pymysql.connect( host="数据库地址", port=3306, # 端口，默认为3306 user="用户名", password="密码", database="数据库名", charset='utf8mb4' # 一般使用utf8mb4以支持存储Emoji表情 ) # 2. 创建游标 cursor = db.cursor() # 3. 执行SQL语句 # 创建表（如果表不存在） create_table_sql = """ CREATE TABLE IF NOT EXISTS articles ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255) NOT NULL, url VARCHAR(255) NOT NULL, tags VARCHAR(255), create_date DATE, content TEXT ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; """ cursor.execute(create_table_sql) # 假设我们有一个item，包含需要插入的数据 item = { 'title': '示例标题', 'url': 'https://example.com', 'tags': '示例,标签', 'create_date': '2023-01-01', 'content': '这是文章内容' } # 插入数据的SQL语句 insert_sql = """ INSERT INTO articles (title, url, tags, create_date, content) VALUES (%s, %s, %s, %s, %s) """ # 参数列表 params = ( item['title'], item['url'], item['tags'], item['create_date'], item['content'] ) try: cursor.execute(insert_sql, params) db.commit() # 提交事务 print("数据插入成功") except Exception as e: print(f"插入数据时发生错误: {e}") db.rollback() # 发生错误时回滚 finally: # 关闭游标和连接 cursor.close() db.close() ``` 示例2：使用MySQLdb（或mysqlclient） 安装：`pip install mysqlclient` 代码与pymysql类似，但注意MySQLdb在连接时参数名略有不同，且不需要指定`port`为关键字参数（可以直接在host后面用冒号指定端口，或者使用port关键字参数）。 ```python import MySQLdb # 1. 连接数据库 db = MySQLdb.connect( host="数据库地址", port=3306, # 注意：MySQLdb中port参数是有效的 user="用户名", passwd="密码", # 注意参数名是passwd db="数据库名", charset='utf8mb4', use_unicode=True ) # 2. 创建游标 cursor = db.cursor() # 3. 执行SQL语句（同上，创建表和插入数据） # ... 省略，与pymysql示例中的SQL执行部分相同 # 注意：在MySQLdb中，插入数据时同样使用%s作为占位符，但参数传递方式相同。 # 最后记得提交、异常处理和关闭连接 ``` 注意事项： - 在插入数据时，使用参数化查询（%s作为占位符）可以防止SQL注入攻击。 - 字符编码建议使用utf8mb4，以支持存储Emoji等特殊字符。 - 对于日期类型的字段，确保传入的日期字符串格式正确，或者使用Python的datetime.date对象。 在实际的爬虫项目中，我们通常会将数据库操作封装到一个单独的类或者pipeline中（例如在Scrapy框架中，可以编写一个Item Pipeline来处理数据的存储）。 引用[2]中展示了一个Scrapy的Pipeline示例，其中在`__init__`方法中建立数据库连接，在`process_item`方法中处理每个item的插入操作。 总结：使用Python将爬取的数据存入数据库，主要步骤包括连接数据库、创建游标、执行SQL语句、提交和关闭连接。根据使用的数据库驱动不同（pymysql或MySQLdb），代码略有差异，但整体流程一致。 §§相关问题§§ 1. 如何防止在将爬取数据存入数据库时出现重复数据？ 2. 如何处理数据库连接异常和超时问题？ 3. 在Scrapy框架中如何编写Item Pipeline来存储数据到数据库？ 4. 除了MySQL，Python还支持哪些数据库？如何操作？</think>### Python爬虫数据存入数据库的方法 将爬取的数据存入数据库是爬虫开发的关键步骤，以下是详细的操作流程和示例代码： #### 一、基本步骤 1. **安装数据库驱动** ```bash pip install pymysql # MySQL pip install pymongo # MongoDB ``` 2. **建立数据库连接** ```python import pymysql # 连接MySQL（参数根据实际修改） db = pymysql.connect( host="localhost", # 数据库地址 port=3306, # 端口 user="root", # 用户名 password="123456", # 密码 database="spider_db", # 数据库名 charset="utf8mb4" # 编码 ) cursor = db.cursor() # 创建游标 ``` [^1][^2] 3. **创建数据表** ```sql CREATE TABLE articles ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255) NOT NULL, url VARCHAR(255) NOT NULL UNIQUE, content TEXT, create_date DATE ); ``` 4. **插入数据** ```python item = { 'title': 'Python教程', 'url': 'https://example.com/python', 'content': 'Python基础语法...', 'create_date': '2023-06-15' } sql = """ INSERT INTO articles (title, url, content, create_date) VALUES (%s, %s, %s, %s) """ cursor.execute(sql, ( item['title'], item['url'], item['content'], item['create_date'] )) db.commit() # 提交事务 ``` 5. **关闭连接** ```python cursor.close() db.close() ``` #### 二、完整示例（MySQL） ```python import pymysql def save_to_mysql(item): try: db = pymysql.connect( host="localhost", user="root", password="123456", database="spider_db", charset="utf8mb4" ) cursor = db.cursor() sql = """INSERT INTO articles (title, url, content, create_date) VALUES (%s, %s, %s, %s)""" cursor.execute(sql, ( item['title'], item['url'], item['content'], item['create_date'] )) db.commit() print("数据插入成功") except Exception as e: print(f"数据库错误: {e}") db.rollback() finally: cursor.close() db.close() # 示例数据 article = { 'title': '爬虫技巧', 'url': 'https://example.com/spider', 'content': '数据存储方法...', 'create_date': '2023-06-18' } save_to_mysql(article) ``` #### 三、关键注意事项 1. **防重复机制** - 添加`UNIQUE`约束（如url字段） - 使用`ON DUPLICATE KEY UPDATE`语句 ```sql INSERT INTO ... ON DUPLICATE KEY UPDATE title=VALUES(title) ``` 2. **批量插入优化** ```python # 使用executemany提高效率 sql = "INSERT ... VALUES (%s,%s,%s,%s)" cursor.executemany(sql, [item1, item2, item3]) ``` 3. **错误处理** - 捕获`pymysql.Error`异常 - 网络超时设置：`connect(timeout=10)` - 使用连接池管理连接[^3] 4. **编码问题** - 统一使用`utf8mb4`编码 - 数据库、数据表、连接三处编码需一致 #### 四、其他数据库 1. **MongoDB示例** ```python from pymongo import MongoClient client = MongoClient('localhost', 27017) db = client['spider_db'] collection = db['articles'] collection.insert_one({ 'title': 'MongoDB存储', 'url': 'https://example.com/mongodb', 'content': 'NoSQL数据库...' }) ``` 2. **SQLite示例** ```python import sqlite3 conn = sqlite3.connect('spider.db') cursor = conn.cursor() cursor.execute("CREATE TABLE ...") ``` #### 五、Scrapy集成（pipelines.py） ```python import pymysql class MysqlPipeline: def __init__(self): self.conn = pymysql.connect( host='localhost', user='root', password='123456', db='spider_db', charset='utf8mb4' ) self.cursor = self.conn.cursor() def process_item(self, item, spider): sql = """INSERT INTO articles (title, url, content) VALUES (%s, %s, %s)""" self.cursor.execute(sql, ( item['title'], item['url'], item['content'] )) self.conn.commit() return item def close_spider(self, spider): self.cursor.close() self.conn.close() ``` [^2] ---
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值