让你的爬虫速度提高100倍,就用这招!

爬虫其实很简单!——网络爬虫快速实现(一) 今天我来带领大家一起学习编写一个网络爬虫!其实爬虫很简单,没有想象中那么难,也许所有学问都是这样,恐惧源自于无知。废话不多说,现在开始我们的爬虫之旅吧。爬虫是什么?我们时常听说编程大牛嘴边一直念叨着“网络爬虫“,那网络爬虫究竟是何方神圣呢? 网络爬虫能够模仿用户浏览网页,并将所想要的页面中的信息保存下来。有些同学不禁要问:“我自己浏览网页,可以手动将数据保存下来啊,为何要写个程序去爬取数据呢?“道 阅读详情

听说过异步爬虫的同学,应该或多或少听说过aiohttp这个库。它通过 Python 自带的async/await实现了异步爬虫。

使用 aiohttp,我们可以通过 requests 的api写出并发量匹敌 Scrapy 的爬虫。

我们在 aiohttp 的官方文档上面,可以看到它给出了一个代码示例,如下图所示:

我们现在稍稍修改一下,来看看这样写爬虫,运行效率如何。

修改以后的代码如下:

import asyncio
import aiohttp

template = 'http://exercise.kingname.info/exercise_middleware_ip/{page}'


async def get(session, page):
    url = template.format(page=page)
    resp = await session.get(url)
    print(await resp.text(encoding='utf-8'))

async def main():
    async with aiohttp.ClientSession() as session:
        for page in range(100):
            await get(session, page)


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

这段代码访问我的爬虫练习站100次,获取100页的内容。

大家可以通过下面这个视频看看它的运行效率:

可以说,目前这个运行速度,跟 requests 写的单线程爬虫几乎没有区别,代码还多了那么多。

那么,应该如何正确释放 aiohttp 的超能力呢?

我们现在把代码做一下修改:

import asyncio
import aiohttp

template = 'http://exercise.kingname.info/exercise_middleware_ip/{page}'


async def get(session, queue):
    while True:
        try:
            page = queue.get_nowait()
        except asyncio.QueueEmpty:
            return
        url = template.format(page=page)
        resp = await session.get(url)
        print(await resp.text(encoding='utf-8'))

async def main():
    async with aiohttp.ClientSession() as session:
        queue = asyncio.Queue()
        for page in range(1000):
            queue.put_nowait(page)
        tasks = []
        for _ in range(100):
            task = get(session, queue)
            tasks.append(task)
        await asyncio.wait(tasks)


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

在修改以后的代码里面,我让这个爬虫爬1000页的内容,我们来看看下面这个视频。

可以看到,目前这个速度已经可以跟 Scrapy 比一比了。并且大家需要知道,这个爬虫只有1个进程1个线程,它是通过异步的方式达到这个速度的。

那么,修改以后的代码,为什么速度能快那么多呢?

关键的代码,就在:

tasks = []
for _ in range(100):
    task = get(session, queue)
    tasks.append(task)
await asyncio.wait(tasks)

在慢速版本里面,我们只有1个协程在运行。而在现在这个快速版本里面,我们创建了100个协程,并把它提交给asyncio.wait来统一调度。asyncio.wait会在所有协程全部结束的时候才返回。

我们把1000个 URL 放在asyncio.Queue生成的一个异步队列里面,每一个协程都通过 while True 不停从这个异步队列里面取 URL 并进行访问,直到异步队列为空,退出。

当程序运行时,Python 会自动调度这100个协程,当一个协程在等待网络 IO 返回时,切换到第二个协程并发起请求,在这个协程等待返回时,继续切换到第三个协程并发起请求……。程序充分利用了网络 IO 的等待时间,从而大大提高了运行速度。

推荐阅读:入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径量化: 定投基金到底能赚多少钱?  | 我用Python对去年800只基金的数据分析  干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|年度爆款文案1).卧槽!Pdf转Word用Python轻松搞定!2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密 4).80行代码!用Python做一个哆来A梦分身 5).你必须掌握的20个python代码,短小精悍,用处无穷 6).30个Python奇淫技巧集 7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货 8).再见Python!我要学Go了!2500字深度分析!9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片
点阅读原文,领AI全套!
Python 网络爬虫的常用技术 本文将介绍 Python 网络爬虫的常用技术,包括请求发送与响应处理、页面解析、反爬虫应对、数据存储等内容,帮助读者全面了解 Python 网络爬虫的基本原理和实际应用。requests 提供了丰富的功能,支持设置请求头、Cookies、代理等,是网络爬虫的重要工具。Python 中常用的异步库包括 asyncio、aiohttp 等,通过异步请求处理,能够极大地提高爬取数据的效率。通过 BeautifulSoup,我们能够方便地提取页面中的信息,如标题、链接、文本内容等,是爬虫数据提取的重要工具。 阅读详情

相关推荐

Python技巧:如何提高爬虫速度?

今天在浏览知乎时,发现一个有趣的问题: 如何优化 Python 爬虫的速度? 他的问题描述是: 目前在写一个 Python 爬虫,单线程 urllib 感觉过于慢了,达不到数据量的要求(十万级页面)。求问有哪些可以提高爬取效率的方法? 这个问题还蛮多人关注的,但是回答的人却不多。 我今天就来尝试着回答一下这个问题。 程序提速这个问题其实解决方案就摆在那里,要么通过并发来提高单位时间内处理的工作量,要么从程序本身去找提效点,比如爬取的数据用gzip传输、提高处理数据的速度等。 我会分别从

weixin_56659172的博客 1155

Python3,此神器,让爬取速率提升10倍。

如果我多了解一些requests库的方法,也不至于给这篇博文点赞3次..

商务合作 | 面试培训 | 职场规划 ==>主页扫码 8855

Python爬虫速度慢到离谱?用这招让数据抓取快10倍

你有没有遇到过这种情况:写好的Python爬虫脚本,跑1000条数据要花2个小时,换了更贵的代理、加了更短的延迟,速度还是提不上来,甚至还因为请求太密集被封了IP?其实绝大多数Python爬虫慢,根本不是硬件或者代理的问题,而是你用了串行请求的方式——一条请求发出去,等服务器返回结果,再发下一条,中间大量的时间都浪费在等待上了。,配合连接池复用和动态请求调度,实测能让数据抓取速度提升8-12倍,同时还能降低被封IP的风险。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1268

利用Python爬虫一天内抓取百万张网页的心得总结

一、优化硬盘存储 所以千万级网页的抓取是需要先设计的,先来做一个计算题。共要抓取一亿张页面,一般一张网页的大小是400KB左右,一亿张网页就是1亿X200KB=36TB 。这么大的存储需求,一般的电脑和硬盘都是没法存储的。所以肯定要对网页做压缩后存储,可以用zlib压缩,也可以用压缩率更好的bz2或pylzma 。 二、优化内存,URL去重 再来说内存占用问题,做爬虫程序为了防止重复抓取UR...

qq_37117258的博客 1903

解密电商大促背后的智慧:LSTM与ARIMA模型的双剑合璧

举个例子,如果某东发现某款新推出的电子产品在促销前夕搜索量突然暴涨,虽然这个产品没有过去的销售记录,但LSTM模型可以结合用户对类似产品的行为模式、实时的市场反馈,迅速捕捉到这些变化,并预测这款产品在大促期间的需求会急剧上升。想象一下,如果预测不准确,备货不足,商品很快就卖光了,大量用户可能在促销期间买不到想要的商品,这不仅让用户失望,还会影响某东的品牌形象。这种情况就像我们看一部很长的电视剧,看得越久,前面的情节可能就越来越模糊,到最后有些关键的情节细节都忘了,影响了对整个剧情的理解。

小蒋聊技术 2093

LinuxCNC开发实战:从安装到EtherCAT配置全解析

本文详细解析LinuxCNC开发实战,从系统安装到EtherCAT总线配置全流程。涵盖实时内核优化、伺服驱动器PDO映射、HAL配置及自定义运动学开发,帮助开发者快速搭建工业级数控系统,提升运动控制精度与稳定性。

rgv234567的博客 355

完成100次python协程爬虫

如果你想完成 100 次 Python 协程爬虫,你可以这样做: 了解 Python 协程的基本知识,包括如何使用 async/await 关键字和 asyncio 库。 定义一个协程函数来执行爬虫任务,例如通过使用 requests 库发送 HTTP 请求并解析响应。 使用 asyncio.gather() 函数来并发地调用多个协程函数,以便同时完成多个爬虫任务。 在循环中调用 asyn...

weixin_35752233的博客 300

Android图形系统(三)系统篇:渲染/合成的底层原理浅析

众所周知,渲染工作是由GPU负责,那么在聊GPU之前首先得知道什么是“渲染”?我们来举个例子感受一下在系统中申请一块10*101、把图层背景这玩意染成绿的2、从左上(0,0)到右下(10,10)画一条宽度为1颜色为红色的直线3、以坐标点(5,5)为中心,画一个半径为3的实心圆,颜色要蓝色好了,接下来操作系统会把这些“绘图指令”同步给GPU去执行渲染任务图片来源:自己画的GPU完成渲染工作后,我们将会得到一个大小为10*10二维数组,数组中的每个元素都保存着坐标点的颜色信息、深度信息。

1360

菜鸡爬虫入门——爬取100次网页的时间

题目: “任意”找个url,测试一下成功爬取100次网页的时间。(某些网站对于连续爬取页面将采取屏蔽IP的策略,所以,要避开这类网站。) 代码示例: import requests import time def pertime(url): try: r=requests.get(url,timeout=30) r.status_code r.encoding=r.apparent_encoding return r.text

dsp1234566的博客 993

【AI Agent 记忆共享实战】【下篇】多 Agent 会话 Session 统一共享实战:全链路工程落地、采集归一、MCP 服务、私有化部署、源码级实战

中篇我们已经锁定最终最优架构方案: 非侵入式、外部旁路采集、只读归一、中心化存储、MCP 按需检索注入。摒弃「改 Agent 源码」「软链接互通」「原生 Session 互导」等不现实方案。本篇直接落地可上线、可简历复用、可个人私有化部署多 Agent 异构 Session专属采集器(Claude/CODex/DSH/OpenCode/Kimi/WorkBuddy/ 豆包)统一消息归一化解析层(解决所有 Schema 异构)增量同步、去重、时间戳对齐核心逻辑。

十年老程序猿,AI 疯狂研究专家,前沿硬核知识分享 487

突破限制:巧用Azure OpenAI,畅玩Gemini模型

通过 Azure OpenAI 服务这一巧妙的途径,间接调用 Gemini 模型,打破网络限制的壁垒。本文将详细介绍这一方法,无论你是人工智能领域的新手,还是经验丰富的开发者,都能从中获取实用的技巧,轻松开启 Gemini 模型的探索之旅

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 183

1.认识网络爬虫

1.认识网络爬虫 网络爬虫 爬虫的合法性 HTTP协议 请求与响应(重点) 网络爬虫 爬虫的全名叫网络爬虫,简称爬虫。他还有其他的名字,比如网络机器人,网络蜘蛛等等。爬虫就好像一个探测机器,它的基本操作就是模拟人的行为去各个网站溜达,点点按钮,查查数据,或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。 你可以这样理解,每个爬虫都是你的分身。就像孙悟空拔了一撮汗毛,吹出一堆猴子一样。 你每天使用的百度,其实就是利用了这种爬虫技术:每天放出无数爬虫到各个网站,把他们的信

weixin_50804299的博客 5万+

YOLOv8改进:在C2F模块中引入RepGhost Bottleneck模块

C2F类是YOLOv8中的C2F模块的实现,它包含一个RepGhostBottleneck模块、一个卷积层和一个批归一化层。通过在C2F模块中引入RepGhost Bottleneck模块,我们可以在保持计算效率的同时提升模型的表达能力。这是因为RepGhost Bottleneck模块通过引入重复的卷积核来扩展模型的感受野,从而增加了模型对不同尺度目标的感知能力。RepGhost Bottleneck是一种用于卷积神经网络的改进模块,它可以在保持计算效率的同时提升模型的表达能力。希望以上内容对你有帮助!

IlgCrystal的博客 1307

网络爬虫安全:90后小伙,用软件非法搬运他人原创视频被判刑

犯罪嫌疑人 90 后程序员周某交代,这款软件主要用于非法搬运视频,支持视频镜像,去水印,草稿替换,摄像头替换等功能,修改后的视频支持在快手、抖音、哔哩哔哩、小红书、西瓜视频等主流视频平台一键发布,从而协助他人实现账号“快速涨粉”目的。网络爬虫的攻击手段也日益智能化和复杂化,仅仅依靠限制访问频率或者前端页面加密已经难以有效防御,需要提升人机识别技术,增加异常行为的识别和拦截能力,以限制网络爬虫的访问,提高恶意盗取的攻击成本。顶象为企业提供了全流程的立体防控方案,能够有效防范网络爬虫的恶意盗取行为。

顶象科技的技术文章 2779

利用ADS建立MIPI D-PHY链路仿真流程

由于MIPI D-PHY的速率并不算高,因此,PCB设计难度通常不大,主要做好差分线的等长、阻抗的连续性、端口处的阻抗优化以及控制好走线的长度,拿到满意的结果还是较为轻松的,最后,建立流程化的仿真工程文件,可以保存为模板,方便日后的设计复用,非常方便。

一只豌豆象的博客 3573

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

探索网络爬虫的5种数据获取方式,让你的数据分析更高效!

在当今信息爆炸的时代,获取准确、大量的数据对于决策和分析至关重要。而网络爬虫作为一种高效的数据获取工具,正在被越来越多的人所关注和应用。在本文中,我将与大家分享网络爬虫的5种数据获取方式,帮助你在数据分析中事半功倍!HTML解析器是最常用的一种数据获取方式。它通过解析HTML页面的结构和标签,提取出所需的数据。Python中的BeautifulSoup和lxml库是常用的HTML解析器工具,它们可以根据标签、类名、ID等特征来定位和提取数据。

2301_82000445的博客 1960

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Python网络爬虫从入门到实战!

在文章开始前打个小广告——分享一份Python学习大礼包(激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、自动化办公等学习教程)点击领取,100%免费!爬虫能做什么政治角逐2016年这场美国总统竞选被媒体称作“第一次数字化竞选”,希阿姨和川大大都组建了庞大的技术团队,将大量资金花在获取和使用投票者的信息上。民意调查结果,一直是总统大选时最倚重的数据来源。在长达半年的总统竞选活动中,会有许多组织或机构通过不同方式进行大量调查,并将结果汇总整理加工成民意调查数据。

m0_75067629的博客 3118

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

终于有人把网络爬虫讲明白了,零基础入门到精通,收藏这一篇就够了_到底什么是爬虫?

*导读:**人们正在以前所未有的速度转向互联网,我们在互联网上所做的很多行为产生了大量的“用户数据”,比如微博、购买记录等。互联网成了海量信息的载体;互联网目前是分析市场趋势、监视竞争对手或者获取销售线索的最佳场所,数据采集以及分析能力已成为驱动业务决策的关键技能。**如何有效地提取并利用这些信息成了一个巨大的挑战,而网络爬虫是一种很好的自动采集数据的通用手段。**本文将会对爬虫的类型、爬虫的抓取策略以及深入学习爬虫所需的网络基础等相关知识进行介绍。作者:赵国生 王健。

喜欢Python编程的程序员柚柚呀 1352

终于有人把网络爬虫讲明白了,零基础入门到精通,收藏这一篇就够了_到底什么是爬虫_

*导读:**人们正在以前所未有的速度转向互联网,我们在互联网上所做的很多行为产生了大量的“用户数据”,比如微博、购买记录等。互联网成了海量信息的载体;互联网目前是分析市场趋势、监视竞争对手或者获取销售线索的最佳场所,数据采集以及分析能力已成为驱动业务决策的关键技能。**如何有效地提取并利用这些信息成了一个巨大的挑战,而网络爬虫是一种很好的自动采集数据的通用手段。**本文将会对爬虫的类型、爬虫的抓取策略以及深入学习爬虫所需的网络基础等相关知识进行介绍。作者:赵国生 王健。

liuhyusb的博客 1553
上一篇: 一直以为自己擅长Python,直到见到这个神技……
下一篇: 我摊牌了!
菜鸟学Python
博客等级 码龄9年 8096粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值