python-scrapy

最新推荐文章于 2025-04-08 22:21:19 发布

原创最新推荐文章于 2025-04-08 22:21:19 发布 · 260 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了scrapy框架的安装与使用。给出示例代码链接，详细说明了使用步骤，包括创建项目、爬虫，编辑item.py、csdn_spider.py、setting.py、pipelines.py文件，添加启动脚本新建main.py等内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy框架使用

安装

使用

示例代码：https://github.com/Carty090616/python.git[https://github.com/Carty090616/python.git]
创建项目

scrapy startproject csdn

scrapy genspider csdn_spider youkuaiyun.com

编辑item.py文件，添加需要获取的字段属性

import scrapy

class CsdnItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    href = scrapy.Field()

编辑爬虫文件csdn_spider.py

import scrapy

from csdn.items import CsdnItem

class CsdnSpiderSpider(scrapy.Spider):
    # 爬虫名字
    name = 'csdn_spider'
    # 允许域
    allowed_domains = ['youkuaiyun.com']
    # 爬取的网址
    start_urls = ['http://blog.youkuaiyun.com/nav/news']

    def parse(self, response):
        # 先获取页面中class="list_con"的div标签，在获取class="title oneline"的子div标签
        body = response.xpath('//div[@class="list_con"]//div[@class="title oneline"]')
        for value in body:
            item = CsdnItem()
            try:
                item['title'] = value.xpath('./h2/a/text()')[0].extract().strip()
                item['href'] = value.xpath('./h2/a/@href')[0].extract()
            except Exception as e:
                print(e)
            else:
                print(item['title'] + ':' + item['href'])
            yield item

保存爬取的内容，编辑setting.py文件

取消注释：

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#    'csdn.pipelines.CsdnPipeline': 300,
#}

变成：

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'csdn.pipelines.CsdnPipeline': 300,
}

之后编辑pipelines.py文件

class CsdnPipeline(object):
    def process_item(self, item, spider):
        with open('csdn.txt', 'a') as fp:
            fp.write('{0} {1}\n'.format(item['title'], item['href']))

添加启动脚本

新建main.py

from scrapy.cmdline import execute

# 启动debug模式
execute('scrapy crawl csdn_spider --nolog'.split())