爬虫笔记day10

最新推荐文章于 2025-04-26 23:07:42 发布

废材终结者

最新推荐文章于 2025-04-26 23:07:42 发布

阅读量982

点赞数

分类专栏：爬虫文章标签：爬虫 python mysql

本文链接：https://blog.youkuaiyun.com/hssf_xxy/article/details/121884854

版权

本文介绍了如何使用Python和MySQL实现增量爬虫，通过在MySQL中建立指纹表存储已爬取链接，避免重复抓取。针对新更新数据通常出现在前端的特点，爬虫在检测到已爬取链接后会停止后续链接的抓取。步骤包括创建数据库表存储车名，编写爬虫程序连接数据库。部分运行结果显示了增量爬虫的初步效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

增量爬虫Mysql

定义：每次爬取只抓取新更新的链接，之前抓取过的链接不会再继续抓取

实现思路 MySQL：
1、MySQL中新建指纹表，用来存储所有爬取过的链接的指纹
2、在爬取任何链接之前，先判断该指纹是否存在于指纹表，如果已存在则不在进行爬取

注意：
对于常规网站来说，新更新的数据一般会在最前面。比如说新闻类网站（新更新的新闻会在页面顶部）、电商类网站、房产类网站等
所以、一旦检测到有链接已经爬取过的，则无需继续再检测之后的链接，终止程序即可

知识点补充：

1、给url地址进行md5加密生成指纹
from hashlib import md5
s=md5()
s.update(url.encode())
finger=s.hexdigest()

2、pymysql模块执行查询语句后的结果
import  pymysql
cursor.execute('select * from carab')
#fetchall()得到的结果为元祖
result=cursor.fetchall()

步骤：

1、创建数据库表（只爬取车的名字）

CREATE DATABASE cardb CHARSET utf8;
USE cardb;
CREATE TABLE request_finger(
finger CHAR(32)
)CHARSET=utf8;

CREATE TABLE carab(
NAME VARCHAR(100)
)CHARSET=utf8;

2、爬取程序(自行填入自己的数据库密码)

import  urllib.request
import  re
import time
import random
import pymysql
from hashlib import md5
import sys

class CarSpider:

最低0.47元/天解锁文章