干货!一份详实的 Scrapy 爬虫教程,值得收藏!

Scrapy爬虫框架介绍 Scrapy是什么、创建Scrapy项目、配置请求头、配置管道、数据建模 阅读详情

30cc1c639b207c9807b72991cf911395.png

大家好,我是菜鸟哥!

之前分享了很多 requests 、selenium 的 Python 爬虫文章,本文将从原理到实战带领大家入门另一个强大的框架 Scrapy。如果对Scrapy感兴趣的话,不妨跟随本文动手做一遍!

1a6a57beab52cca6c3ae555d021397eb.png

一、Scrapy框架简介

Scrapy是:由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据,只需要实现少量的代码,就能够快速的抓取。

二、运行原理

Scrapy框架的运行原理看下面一张图就够了(事实上原理是比较复杂的,也不是三言两语能够说清楚的,因此感兴趣的读者可以进一步阅读更多的相关文章来了解,本文不做过多讲解)e087e408167d7f91e1e43f5b4c158285.png

Scrapy主要包括了以下组件:

  • 引擎(Scrapy Engine)

  • Item 项目

  • 调度器(Scheduler)

  • 下载器(Downloader)

  • 爬虫(Spiders)

  • 项目管道(Pipeline)

  • 下载器中间件(Downloader Middlewares)

  • 爬虫中间件(Spider Middlewares)

  • 调度中间件(Scheduler Middewares)

三. 入门

3.1安装

第一种:在命令行模式下使用pip命令即可安装:

$ pip install scrapy

第二种:首先下载,然后再安装:

$ pip download scrapy -d ./
# 通过指定国内镜像源下载 
$pip download  -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy -d ./

进入下载目录后执行下面命令安装:

$ pip install Scrapy-1.5.0-py2.py3-none-any.whl

3.2使用

使用大概分为下面四步 1 创建一个scrapy项目

scrapy startproject mySpider

2 生成一个爬虫

scrapy genspider demo "demo.cn"

3 提取数据

完善spider 使用xpath等

4 保存数据

pipeline中保存数据
3.3 程序运行

在命令中运行爬虫

scrapy crawl qb     # qb爬虫的名字

在pycharm中运行爬虫

from scrapy import cmdline
cmdline.execute("scrapy crawl qb".split())

四、基本步骤

Scrapy 爬虫框架的具体使用步骤如下:

“
  1. 选择目标网站

  2. 定义要抓取的数据(通过Scrapy Items来完成的)

  3. 编写提取数据的spider

  4. 执行spider,获取数据

  5. 数据存储

”

五. 目录文件说明

当我们创建了一个scrapy项目后,继续创建了一个spider,目录结构是这样的:

9b1153e0e9d4abe25b0ffe853a28bd17.png

下面来简单介绍一下各个主要文件的作用:

“

scrapy.cfg :项目的配置文件

mySpider/ :项目的Python模块,将会从这里引用代码

mySpider/items.py :项目的目标文件

mySpider/pipelines.py :项目的管道文件

mySpider/settings.py :项目的设置文件

mySpider/spiders/ :存储爬虫代码目录

”

5.1 scrapy.cfg文件

项目配置文件。这个是文件的内容:

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = mySpider.settings

[deploy]
#url = http://localhost:6800/
project = mySpider

5.2 mySpider**/**

项目的Python模块,将会从这里引用代码

5.3 mySpider/items.py

项目的目标文件

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

class MyspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass

定义scrapy items的模块,示例: name = scrapy.Field()

5.4 mySpider/pipelines.py

项目的管道文件

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class MyspiderPipeline:
    def process_item(self, item, spider):
        return item

这个文件也就是我们说的管道,当Item在Spider中被收集之后,它将会被传递到Item Pipeline(管道),这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用:

  • 验证爬取的数据(检查item包含某些字段,比如说name字段)

  • 查重(并丢弃)

  • 将爬取结果保存到文件或者数据库中

5.5 mySpider/settings.py

项目的设置文件

# Scrapy settings for mySpider project
...

BOT_NAME = 'mySpider' # scrapy项目名

SPIDER_MODULES = ['mySpider.spiders']
NEWSPIDER_MODULE = 'mySpider.spiders'
.......

# Obey robots.txt rules
ROBOTSTXT_OBEY = False # 是否遵守协议,一般给位false,但是创建完项目是是True,我们把它改为False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32 # 最大并发量 默认16
......
#DOWNLOAD_DELAY = 3 # 下载延迟 3秒

# Override the default request headers: # 请求报头,我们打开
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
}
# 爬虫中间件
#SPIDER_MIDDLEWARES = {
#    'mySpider.middlewares.MyspiderSpiderMiddleware': 543,
#}

# 下载中间件
#DOWNLOADER_MIDDLEWARES = {
#    'mySpider.middlewares.MyspiderDownloaderMiddleware': 543,
#}
......
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#    'mySpider.pipelines.MyspiderPipeline': 300, # 管道
#}
.......

省略号省略代码,一般重要点,给了注释

6.mySpider/spiders/ :存储爬虫代码目录
import scrapy

class DbSpider(scrapy.Spider):
    name = 'db'
    allowed_domains = ['douban.com'] # 可以修改
    start_urls = ['http://douban.com/'] # 开始的url也可以修改

    def parse(self, response):
        # pass

六. Scrapy shell

Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据,但是一般使用的不多。感兴趣的查看官方文档:

官方文档

http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/shell.html

Scrapy Shell根据下载的页面会自动创建一些方便使用的对象,例如 Response 对象,以及 Selector 对象 (对HTML及XML内容)。

  • 当shell载入后,将得到一个包含response数据的本地 response 变量,输入 response.body将输出response的包体,输出 response.headers 可以看到response的包头。

  • 输入 response.selector 时, 将获取到一个response 初始化的类 Selector 的对象,此时可以通过使用 response.selector.xpath()或response.selector.css() 来对 response 进行查询。

  • Scrapy也提供了一些快捷方式, 例如 response.xpath()或response.css()同样可以生效(如之前的案例)。

Selectors选择器
“

Scrapy Selectors 内置 XPath 和 CSS Selector 表达式机制

”

Selector有四个基本的方法,最常用的还是xpath:

  • xpath(): 传入xpath表达式,返回该表达式所对应的所有节点的selector list列表

  • extract(): 序列化该节点为字符串并返回list

  • css(): 传入CSS表达式,返回该表达式所对应的所有节点的selector list列表,语法同 BeautifulSoup4

  • re(): 根据传入的正则表达式对数据进行提取,返回字符串list列表

七、案例实战

本节,我将使用Scrapy爬取站酷数据作为示例

6c1ac1b1606549ade872c039a9a81a24.png

7.1 案例说明

既然已经初步了解了scrapy的工作流程以及原理,我们来做一个入门的小案例,爬取站酷首页推荐的item信息。如下图所示,一个小方框就是一个item信息。我们要提取每一个item的六个组成部分:

  1. imgLink(封面图片链接);

  2. title(标题);

  3. types(类型);

  4. vistor(人气);

  5. comment(评论数);

  6. likes(推荐人数)510d000c23603007bfdfecb35cac4e2a.png

然后只是一个页面的item,我们还要通过翻页实现批量数据采集。

7.2 文件配置

目录结构

在上一篇中我们说明了新建scrapy项目(zcool)和spider项目(zc),这里不再赘述,然后得到我们的目录结构如下图所示:

430e6c11d7dc2f7dfba27fc730f36199.png
start.py文件

然后为了方便运行,在zcool目录下新建start文件。并进行初始化设置。

from scrapy import cmdline
cmdline.execute('scrapy crawl zc'.split())
settings.py文件

在这个文件里我们需要做几样设置👇

避免在程序运行的时候打印log日志信息

LOG_LEVEL = 'WARNING'
ROBOTSTXT_OBEY = False

添加请求头:

91dd2ab83a26cae71ebe78def54da5d4.png

打开管道:0fabb73b2e892742935a0ccc0fa9312f.png

item.py文件
import scrapy

class ZcoolItem(scrapy.Item):
    # define the fields for your item here like:
    imgLink = scrapy.Field() # 封面图片链接
    title = scrapy.Field() # 标题
    types = scrapy.Field() # 类型
    vistor = scrapy.Field() # 人气
    comment = scrapy.Field() # 评论数
    likes = scrapy.Field() # 推荐人数
7.3 页面数据提取

首先我们在站酷页面使用xpath-helper测试一下:

3ea409f1f10031b6f5bd0114acb6657f.png

然后zc.py文件里面初步测试一下:

def parse(self, response):
    divList = response.xpath('//div[@class="work-list-box"]/div')
    print(len(divList))

运行结果如下图所示:3d669c13e8ccc4e7ac43c3488e3da7c7.png

没有问题,然后我们对各种信息分别解析提取,

def parse(self, response):
    divList = response.xpath('//div[@class="work-list-box"]/div')
    for div in divList:
        imgLink = div.xpath("./div[1]/a/img/@src").extract()[0] # 1.封面图片链接
  ...  2.title(标题);3 types(类型);4vistor(人气);5comment(评论数)  ....
        likes = div.xpath("./div[2]/p[3]/span[3]/@title").extract_first() # 6likes(推荐人数)

        item = ZcoolItem(imgLink=imgLink,title=title,types=types,vistor=vistor,comment=comment,likes=likes)

        yield item

解释: xpath提取数据方法:

S.N.方法 & 描述
extract()返回的是符合要求的所有的数据,存在一个列表里。
extract_first()返回的hrefs 列表里的第一个数据。
get()和extract_first()方法返回的是一样的,都是列表里的第一个数据。
getall()和extract()方法一样,返回的都是符合要求的所有的数据,存在一个列表里。

注意:

“

get() 、getall() 方法是新的方法,extract() 、extract_first()方法是旧的方法。extract() 、extract_first()方法取不到就返回None。get() 、getall() 方法取不到就raise一个错误。

”

item实例创建(yield上面一行代码)

这里我们之前在目录文件配置的item文件中已经进行了设置,对于数据存储,我们在爬虫文件中开头要导入这个类:

from zcool.items import ZcoolItem

然后使用yield返回数据。

为什么使用yield而不是return

不能使用return这个无容置疑,因为要翻页,使用return直接退出函数;而对于yield:在调用for的时候,函数内部不会立即执行,只是返回了一个生成器对象。在迭代的时候函数会开始执行,当在yield的时候,会返回当前值(i)。之后的这个函数会在循环中进行,直到没有下一个值。

7.4 翻页实现批量数据采集

通过上面的代码已经可以初步实现数据采集,只不过只有第一页的,如下图所示:

1513fb81ac7f057eb874774084565d10.png

但是我们的目标是100个页面的批量数据采集,所以代码还需要修改。针对翻页这里介绍两种方式:

方式一:我们首先在页面中定位到下一页的按钮,如下图所示:

86618ea85690d7323e598ed7cb255c57.png

然后编写如下代码,在for循环完毕后。

next_href = response.xpath("//a[@class='laypage_next']/@href").extract_first()
if next_href:
    next_url = response.urljoin(next_href)
    print('*' * 60)
    print(next_url)
    print('*' * 60)
    request = scrapy.Request(next_url)
    yield request

scrapy.Request(): 把下一页的url传递给Request函数,进行翻页循环数据采集。

https://www.cnblogs.com/heymonkey/p/11818495.html # scrapy.Request()参考链接

注意方式一只有下一页按钮它的href对应属性值和下一页的url一致才行。

方式二:定义一个全局变量count = 0,每爬取一页数据,令其加一,构建新的url,再使用scrapy.Request() 发起请求。

如下图所示:

count = 1

class ZcSpider(scrapy.Spider):
    name = 'zc'
    allowed_domains = ['zcool.com.cn']
    start_urls = ['https://www.zcool.com.cn/home?p=1#tab_anchor'] # 第一页的url

    def parse(self, response):
        global count
        count += 1
        
        for div in divList:
    # ...xxx...
            yield item

        next_url = 'https://www.kuaikanmanhua.com/tag/0?state=1&sort=1&page={}'.format(count)
        yield scrapy.Request(next_url)

这两种方式在实际案例中择机采用。

7.5 数据存储

数据存储是在pipline.py中进行的,代码如下:

from itemadapter import ItemAdapter
import csv

class ZcoolPipeline:
    def __init__(self): 
        self.f = open('Zcool.csv','w',encoding='utf-8',newline='')       # line1
        self.file_name = ['imgLink', 'title','types','vistor','comment','likes']  # line2
        self.writer = csv.DictWriter(self.f, fieldnames=self.file_name)     # line3
        self.writer.writeheader()              # line4

    def process_item(self, item, spider):
        self.writer.writerow(dict(item))              # line5
        print(item)
        return item                  # line6 

    def close_spider(self,spider):
        self.f.close()

解释:

  • line1: 打开文件,指定方式为写,利用第3个参数把csv写数据时产生的空行消除

  • line2: 设置文件第一行的字段名,注意要跟spider传过来的字典key名称相同

  • line3: 指定文件的写入方式为csv字典写入,参数1为指定具体文件,参数2为指定字段名

  • line4: 写入第一行字段名,因为只要写入一次,所以文件放在__init__里面

  • line5: 写入spider传过来的具体数值,注意在spider文件中yield的item,是一个由类创建的实例对象,我们写入数据时,写入的是 字典,所以这里还要转化一下。

  • line6: 写入完返回

7.6 程序运行

因为之前创建了start.py文件,并且对它就行了初始化设置,现在运行爬虫程序不需要在控制台中输入命令:

scrapy crawl zc(爬虫项目名)

直运行start.py文件:得到如下结果:

3500195c910c4f1d7e2fb5428c876b56.png

对应于页面:

46a60cdae21a798c1a09829a3c58c309.png

打开csv文件如下图所示:(由于csv文件在word中乱码了,此处我是用Notepad++打开)

3b826b7de316570ecec1712e8ab32f34.png

没有问题,数据采集完毕。

7.7. 总结

入门案例,需要细心,主要是基础知识的巩固,以便于为进阶学习做好准备。

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

年度爆款文案

点阅读原文,看B站22个原创视频!

【Python Scrapy】详细介绍Scrapy的基本结构、组件和工作原理 Scrapy是一个功能强大的Python爬虫框架,提供了完备的爬取任务的工具集,同时也允许在需要的时候实现自定义组件,极大地提高了开发和维护的效率。掌握Scrapy并使用其组件进行爬虫开发,对于爬虫开发人员,是一门必不可少的技能。无论是对于爬虫性能的优化,还是对于数据的处理与管理,在Scrapy的丰富组件库中,都有非常成熟和专业的解决方案可以采用。 阅读详情

相关推荐

【Scrapy】Scrapy教程1——简介

学python,玩爬虫的人,肯定绕不开一个流行的爬虫框架——Scrapy。Scrapy其发音为(/ˈskreɪpaɪ/),是一个开源、协作的框架,用于网络抓取和结构化数据提取,广泛应用与数据发掘、信息处理、历史存档、监测和自动化等领域。虽然Scrapy最初设计用于网络抓取,但也可以用于获取API的数据或通用的网络爬虫。Scrapy是基于twisted框架开发的,twisted是一个流行的事件驱动的python网络框架,因此Scrapy使用了异步的代码来实现并发。

jayhgq的博客 1017

爬虫框架 Scrapy 详解

Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy是一个框架,可以根据需求进行定制。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。...

m0_67403076的博客 1万+

【愚公系列】《Python网络爬虫从入门到精通》049-了解Scrapy爬虫框架

大家好,欢迎来到《Python网络爬虫从入门到精通》系列教程的第48篇文章。经过前面几十篇的学习,我们已经掌握了使用 requests、BeautifulSoup、Selenium 等工具进行数据抓取的基本方法。然而,随着项目的复杂度提升,这些工具在面对大型、高并发、高可维护性的爬虫任务时,往往力不从心。这时候,专业的爬虫框架——Scrapy,就该登场了。Scrapy 是一个由 Python 编写的、功能强大的异步爬虫框架,它具备高性能、模块化、易扩展等诸多优点,被广泛应用于各种数据采集任务中。

愚公智库 10万+

超详细的Scrapy框架的基本使用教程

scrapy框架;Python爬虫

什么时候才不是菜鸟.... 1万+

【愚公系列】《Python网络爬虫从入门到精通》050-搭建 Scrapy 爬虫框架

在之前的教程中,我们已经了解了 Scrapy 框架的基本概念和优势,今天我们将进入更深一步的学习,带大家实际操作,搭建一个完整的 Scrapy 爬虫框架。相比之前手写的简单爬虫,Scrapy 为我们提供了一个高效、结构化的开发环境,使得我们可以快速构建、管理、优化和扩展爬虫项目。通过 Scrapy,开发者能够轻松应对大规模的网页抓取任务,同时处理复杂的数据管道和存储方式。如何安装和配置 Scrapy 环境:从安装到环境配置,让你在本地快速启动项目。搭建一个 Scrapy 项目。

愚公智库 10万+

干货! 一文教会你 scrapy 爬虫框架的基本使用

python爬虫,scrapy爬虫框架的基本使用。包括scrapy框架的介绍和其数据流机制;scrapy的安装和创建项目;最后通过两个实例:爬取Quotes和爬取图片,熟悉scrapy爬虫框架的基本使用。

叶庭云 成为自己的光 2829

【愚公系列】《Python网络爬虫从入门到精通》051-Scrapy 的基本应用

今天,我们将进一步深入 Scrapy 的基本应用,带你掌握如何高效地使用 Scrapy 完成实际的数据抓取任务。Scrapy 不仅是一个强大的爬虫框架,它还提供了灵活的 API 和工具,使得我们能够轻松处理各种复杂的网页抓取场景。本篇文章将通过实例讲解 Scrapy 的基本应用,帮助你熟练掌握它的核心功能,为你后续的爬虫开发打下坚实的基础。Scrapy 爬虫的基本使用:如何编写一个简单的爬虫,并启动抓取任务。定义 Scrapy 项目中的 Item 和 Pipeline。

愚公智库 10万+

数模笔记_多变量最优化计算之牛顿法

Date: 2_22 Name: Guo Yehao Theme: Calculation in Optimality with multiple variables Reference: 数学建模方法与分析(华章) 在上一节中,我们讨论多变量最优化计算中的随机搜索算法,它的精度并不是众多算法中最高的。在精度问题上,有的时候问题本身就带有明显的误差性,以至于我们不能将其忽略,比如上一节消防站部署的问题,我们在区域划分时就有了误差,因此我们并不需要对结果要求很高的精确度,所以用一些比较粗略的算法就可以.

weixin_45358177的博客 2417

别找了,这是python3网络爬虫从入门到进阶最详细的干货教程(附最强理论总结和五大代码案例)

历时数十天打磨,参考了诸多爬虫理论和实战资料,制作出爬虫从入门到进阶的详细纯干货教程,相信对于想学习爬虫的同学来讲是非常好的福利。此外更好的内容可以关注公众号“雨云飞”,笔者研究生即将毕业,签约BAT,后续会奉献更好的作品给大家~谢谢! 目录 Python网络爬虫数据采集实战:基础知识 内容概要 链接直达 Python网络爬虫数据采集实战:Requests和Re库 内容概要 链接...

大数据之眸 2915

云安全技术——搭建VPN

VPN(Virtual Private Network)是一种可以在公共网络上建立安全连接的技术。VPN是实现保密通信的基本手段,在windows系统上,可以直接进行VPN服务的搭建。1.VPN的工作原理:通过使用加密协议和认证机制,将本地计算机和远程服务器之间的通信加密和保护。2.VPN的分类:根据不同的方式和用途,VPN可以分为不同类型,例如远程访问VPN、站点到站点VPN等。3.VPN的优势:VPN可以带来许多好处,如提高数据安全性、隐藏真实IP地址、突破地理限制等。4.

qq_53142796的博客 3万+

Zlib1.2.11源码编译(Win10+VS2019)

下载 下载网址: zlib Home Site 得到文件: 解压缩到“D:\SourceCodes\zlib-1.2.11” 使用CMake配置、生成并打开项目 将CMakeLists.txt拖入CMake,配置(Configure): 生成(Generate) 打开项目(Open Project),CMake调用VS2019打开项目 生成debug版本 构建项目ALL_BUILD。成功生成debug版本 在“D:\Sourc...

Alexabc3000的专栏 1895

超级干货 :一文读懂网络爬虫

在当前数据爆发的时代,数据分析行业势头强劲,越来越多的人涉足数据分析领域。进入领域最想要的就是获取大量的数据来为自己的分析提供支持,但是如何获取互联网中的有效信息?这就促进了“爬虫”技术的飞速发展。网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

m0_48891301的博客 2250

从智能手机到汽车电子:聊聊IPC-9702/9704A标准如何帮我们搞定不同场景下的PCB可靠性设计

本文探讨了IPC-9702/9704A标准在智能手机和汽车电子等不同场景下的PCB可靠性设计应用。通过分析消费电子、汽车电子和工业设备中的应力特征,详细解读了IPC标准在应变识别和测试方法论中的核心价值,并提供了具体的轻量化设计策略和全生命周期验证方案,帮助工程师提升PCB的长期可靠性。

weixin_30693683的博客 281

基于Scrapy框架的网络爬虫入门练习

基于scrapy框架的网络爬虫 这几天一直在看书自学scrapy框架,写博客完全就是记录自己的生活并对这几天学习的理解做一个总结吧,这次也不难,可以说是入门的体验吧。 Scrapy是一个比较流行的网络爬虫框架,它的优势很多,我也不介绍了,直接来干货。 在命令行使用pip命令 pip install Scrapy 安装成功后,在来到我们自定义的目录下开始实战; 使用startproject创建项目; 创建成功后,进入该目录下; 使用genspider创建爬虫;先来看一下可以使用爬虫

qq_46631566的博客 191

银河麒麟桌面系统批量交付:封装自动化ISO镜像,百台装机效率提升10倍

麒麟桌面系统自动化ISO镜像定制摘要 本文详细介绍麒麟桌面版ISO安装镜像的定制方法,通过修改系统文件实现自动化安装部署。主要内容包括:1) 挂载原版ISO并提取文件;2) 使用unsquashfs解压系统文件进行定制化修改,包括添加系统标记配置;3) 配置ky-installer.cfg自动应答文件,设置安装参数如用户名、密码、分区方案等;4) 修改grub引导配置启用自动安装模式。该流程支持磁盘加密、自定义分区、自动登录等功能,生成的定制镜像可满足批量部署需求,显著提升系统安装效率。

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 1508

Python量化交易:主流回测框架Backtrader入门详解

Python量化交易框架Backtrader入门指南 Backtrader是一个功能强大的Python量化回测框架,可以帮助交易者专注于策略逻辑而非基础设施。本文介绍了Backtrader的核心架构和使用方法: 框架优势:自动处理订单执行、手续费、滑点、仓位管理等复杂问题,采用事件驱动模式接近真实交易场景。 核心组件: Cerebro:控制中心 Strategy:交易策略 Data Feed:数据输入 Broker:模拟经纪商 Indicators:技术指标 使用流程: 安装:pip install bac

Science prince的博客 936

【愚公系列】《Python网络爬虫从入门到精通》054-Scrapy 文件下载

在前面的章节中,我们已经系统地学习了 Scrapy 框架的基础应用和一些进阶技巧,本篇文章将重点讲解如何使用 Scrapy 实现文件下载,让你能够抓取网页中的各类文件,如图片、PDF、音视频等。在爬虫开发中,文件下载是一个非常常见的需求,尤其是在进行图片爬取、资料抓取等项目时,我们需要考虑如何高效地下载和存储文件。Scrapy 提供了非常强大的文件下载支持,能够帮助我们轻松应对这些任务。Scrapy 文件下载的基本原理:了解 Scrapy 如何处理文件下载,掌握文件下载的基本流程。

愚公智库 10万+

SCADA|测试KingSCADA4.0信创版采集汇川PLC AC810数据

摘要:雷工分享KingSCADA4.0信创版采集汇川PLC数据的配置过程。由于项目繁忙,笔记更新延迟。信创产业要求采用国产化产品,此次通过ModbusTCP协议连接AC810 PLC。主要步骤包括:新建IOServer应用(需厂家协助从3.8升级至4.0)、安装ModbusTCP驱动、配置设备地址(192.168.1.88:5021)、运行IOServer并通过网页监控变量。尽管信创版操作体验较差,但出于国产化战略需要仍需使用。雷工表示理解产品初期不足,相信未来会逐步优化。2025年4月11日记录于四川绵阳

做有价值的事,积累有价值的笔记! 865

【愚公系列】《Python网络爬虫从入门到精通》056-Scrapy_Redis分布式爬虫(Scrapy-Redis 模块)

在上一篇中,我们已经学习了如何安装并配置Redis 数据库,为搭建分布式爬虫系统打下了坚实的基础。今天,我们将继续深入探讨模块,带领大家实现基于 Scrapy 和 Redis 的分布式爬虫。Scrapy-Redis 是一个强大的插件,能够帮助我们将 Scrapy 爬虫项目轻松升级为分布式系统。通过该插件,我们可以将任务队列和爬取的结果存储在 Redis 中,从而实现多个爬虫实例的任务共享和数据同步,显著提高爬虫的效率和稳定性。Scrapy-Redis 模块简介。

愚公智库 10万+

人工蜂群优化算法(ABC)详解:原理、实现与应用

人工蜂群算法(Artificial Bee Colony, ABC)是Karaboga于2005年提出的一种群体智能优化算法,其灵感来源于蜜蜂群体在自然界中高效的采蜜行为。该算法通过模拟雇佣蜂、观察蜂和侦察蜂三种角色的分工协作来寻找最优解。在ABC算法中,每个潜在的解决方案被视为一个“食物源”,其质量由适应度函数评估。雇佣蜂负责在已知优质食物源附近进行局部开采;观察蜂根据雇佣蜂分享的信息,以一定概率选择并跟进优质食物源;侦察蜂则随机探索新区域,防止种群陷入局部最优。

qq_42212808的博客 393

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

[day4]python网络爬虫实战:爬取美女写真图片(Scrapy版)

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

尼古拉斯的AI笔记 1587

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

如何从零开始自学爬虫?【纯干货分享】_从零开始学网络爬虫

不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~给大家准备的学习资料包括但不限于:Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。

2401_84140816的博客 1993

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

干货!一文教会你 Scrapy 爬虫框架的基本使用

出品:Python数据之道 (ID:PyDataLab)作者:叶庭云编辑:Lemon一、scrapy 爬虫框架介绍在编写爬虫的时候,如果我们使用 requests、aiohttp 等...

Python数据之道 757

干货!爬虫框架 Feapder 和 Scrapy 的对比分析

这是「进击的Coder」的第 476篇技术分享作者:Boris来源:程序员技术宝典“ 阅读本文大概需要 8 分钟。 ”本篇文章在源码层面比对 feapder、scrapy 、scrapy...

静觅 1889
上一篇: 用 Python 写一个电脑监控程序
下一篇: 这首歌,竟然是AI生成的,太狠了...
菜鸟学Python
博客等级 码龄9年 8092粉丝 571原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值