python之Scrapy框架的第一个爬虫

最新推荐文章于 2021-03-06 16:18:05 发布

原创最新推荐文章于 2021-03-06 16:18:05 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python之Scrapy框架的第一个爬虫

网络爬虫python 专栏收录该内容

66 篇文章

订阅专栏

本文详细介绍使用Scrapy框架创建并运行爬虫项目的全过程，包括项目初始化、蜘蛛文件生成及配置，直至完成网页数据抓取并保存至本地。通过实例演示如何修改爬虫设置以适应特定网站的抓取需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

执行：

D:\pycodes\python123demo>scrapy crawl demo

scrapy crawl demo
学习笔记：

代码：

D:\pycodes>scrapy startproject python123demo
New Scrapy project 'python123demo', using template directory 'c:\\users\\hwp\\appdata\\local\\programs\\python\\python37\\lib\\site-packages\\scrapy\\templates\\project', created in:
    D:\pycodes\python123demo

You can start your first spider with:
    cd python123demo
    scrapy genspider example example.com

D:\pycodes>
在这里插入图片描述

D:.
└─python123demo
    │  scrapy.cfg
    │
    └─python123demo
        │  items.py
        │  middlewares.py
        │  pipelines.py
        │  settings.py
        │  __init__.py
        │
        ├─spiders
        │  │  __init__.py
        │  │
        │  └─__pycache__
        └─__pycache__

在这里插入图片描述
代码：

D:\pycodes\python123demo>scrapy genspider demo python123.io
Created spider 'demo' using template 'basic' in module:
  python123demo.spiders.demo

会生成一个文件：demo.py

代码：

*# -- coding: utf-8 --*
import scrapy
class DemoSpider(scrapy.Spider):#类的名字：DemoSpider（叫啥都无所谓）  继承：scrapy.Spider
    name = 'demo'
    allowed_domains = ['python123.io']#最开始用户提交给命令行的域名：python123.io
    start_urls = ['http://python123.io/']#所要爬取页面的初始页面！

    def parse(self, response):#解析页面为空的方法！
        pass

在这里插入图片描述
产生步骤：

修改：
代码：

# -*- coding: utf-8 -*-
import scrapy
class DemoSpider(scrapy.Spider):
    name = 'demo'
    #allowed_domains = ['python123.io']
    start_urls = ['http://python123.io/ws/demo.html']

    def parse(self, response):
        fname = response.url.split('/')[-1]
        with open(fname, 'wb') as f:
            f.write(response.body)
        self.log('Save file %s.' % name)

在这里插入图片描述
执行：

D:\pycodes\python123demo>scrapy crawl demo

但是报错误！
在这里插入图片描述
不急解决办法：https://blog.youkuaiyun.com/weixin_42859280/article/details/84481289

还要下载依赖：
链接：https://pypi.org/project/pywin32/#files
在这里插入图片描述

成功解决后：
在这里插入图片描述
demo.py代码的完整版本：与普通的对比！

yiled:啥意思呢~

学习笔记，不是技术文档~