利用scrapy将进行一个网站的爬取

最新推荐文章于 2025-02-24 15:56:30 发布

置顶

研客9527

最新推荐文章于 2025-02-24 15:56:30 发布

阅读量659

点赞数 2

分类专栏： python

本文链接：https://blog.youkuaiyun.com/cxl234/article/details/88945278

版权

本文档介绍了如何使用Scrapy框架创建一个项目，创建规则爬虫，并以优快云为例，展示了如何抓取文章的标题、发布时间、阅读数、作者信息等，并将数据保存到JSON文件和MySQL数据库中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装部分请参考百度文档

源码示例

https://github.com/shanxiguowang/bole_crawl

1.先创建一个项目

2. 切换到创建项目的文档下

cd itemname

3. 创建一个规则爬虫

item_spider : 就是你要创建爬虫的名字
“item.com”：爬虫目标网站的域名

我们进入这个爬虫来写逻辑代码

这里我们以抓取csdn为例

CsdnSpider

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider,Rule
from csdn_spider.items import CsdnSpiderItem
import re

class CsdnSpider(CrawlSpider):
    name = 'csdn'
    allowed_domains = ['youkuaiyun.com']
    start_urls = ['https://www.youkuaiyun.com']

    rules = (
        Rule(LinkExtr