天下武功,唯快不破!如何用Python发送 10 万个 http 请求?

python多线程批量访问url脚本 python多线程批量访问url脚本;使用grequests多线程访问,结果写入excel和txt都有,详细注释 立即下载

假如有一个文件,里面有 10 万个 url,需要对每个 url 发送 http 请求,并打印请求结果的状态码,如何编写代码尽可能快的完成这些任务呢?

Python 并发编程有很多方法,多线程的标准库 threading,concurrency,协程 asyncio,当然还有 grequests 这种异步库,每一个都可以实现上述需求,下面一一用代码实现一下,本文的代码可以直接运行,给你以后的并发编程作为参考:

队列+多线程

定义一个大小为 400 的队列,然后开启 200 个线程,每个线程都是不断的从队列中获取 url 并访问。

主线程读取文件中的 url 放入队列中,然后等待队列中所有的元素都被接收和处理完毕。代码如下:

from threading import Thread
import sys
from queue import Queue
import requests

concurrent = 200


def doWork():
    while True:
        url = q.get()
        status, url = getStatus(url)
        doSomethingWithResult(status, url)
        q.task_done()


def getStatus(ourl):
    try:
        res = requests.get(ourl)
        return res.status_code, ourl
    except:
        return "error", ourl


def doSomethingWithResult(status, url):
    print(status, url)


q = Queue(concurrent * 2)
for i in range(concurrent):
    t = Thread(target=doWork)
    t.daemon = True
    t.start()

try:
    for url in open("urllist.txt"):
        q.put(url.strip())
    q.join()
except KeyboardInterrupt:
    sys.exit(1)

运行结果如下:dabefca1fb8a7fce2d7f12c9f709c077.png有没有 get 到新技能?

线程池

如果你使用线程池,推荐使用更高级的 concurrent.futures 库:

import concurrent.futures
import requests

out = []
CONNECTIONS = 100
TIMEOUT = 5

urls = []
with open("urllist.txt") as reader:
    for url in reader:
        urls.append(url.strip())

def load_url(url, timeout):
    ans = requests.get(url, timeout=timeout)
    return ans.status_code

with concurrent.futures.ThreadPoolExecutor(max_workers=CONNECTIONS) as executor:
    future_to_url = (executor.submit(load_url, url, TIMEOUT) for url in urls)
    for future in concurrent.futures.as_completed(future_to_url):
        try:
            data = future.result()
        except Exception as exc:
            data = str(type(exc))
        finally:
            out.append(data)
            print(data)

协程 + aiohttp

协程也是并发非常常用的工具了:

import asyncio
from aiohttp import ClientSession, ClientConnectorError

async def fetch_html(url: str, session: ClientSession, **kwargs) -> tuple:
    try:
        resp = await session.request(method="GET", url=url, **kwargs)
    except ClientConnectorError:
        return (url, 404)
    return (url, resp.status)

async def make_requests(urls: set, **kwargs) -> None:
    async with ClientSession() as session:
        tasks = []
        for url in urls:
            tasks.append(
                fetch_html(url=url, session=session, **kwargs)
            )
        results = await asyncio.gather(*tasks)

    for result in results:
        print(f'{result[1]} - {str(result[0])}')

if __name__ == "__main__":
    import sys
    assert sys.version_info >= (3, 7), "Script requires Python 3.7+."
    with open("urllist.txt") as infile:
        urls = set(map(str.strip, infile))
    asyncio.run(make_requests(urls=urls))

grequests[1]

这是个第三方库,目前有 3.8K 个星,就是 Requests + Gevent[2],让异步 http 请求变得更加简单。Gevent 的本质还是协程。

使用前:

pip install grequests

使用起来那是相当的简单:

import grequests

urls = []
with open("urllist.txt") as reader:
    for url in reader:
        urls.append(url.strip())

rs = (grequests.get(u) for u in urls)

for result in grequests.map(rs):
    print(result.status_code, result.url)

注意 grequests.map(rs) 是并发执行的。运行结果如下:4c390a670f1cc8156d01750ac92de100.png也可以加入异常处理:

>>> def exception_handler(request, exception):
...    print("Request failed")

>>> reqs = [
...    grequests.get('http://httpbin.org/delay/1', timeout=0.001),
...    grequests.get('http://fakedomain/'),
...    grequests.get('http://httpbin.org/status/500')]
>>> grequests.map(reqs, exception_handler=exception_handler)
Request failed
Request failed
[None, None, <Response [500]>]

最后的话

今天分享了并发 http 请求的几种实现方式,有人说异步(协程)性能比多线程好,其实要分场景看的,没有一种方法适用所有的场景,笔者就曾做过一个实验,也是请求 url,当并发数量超过 500 时,协程明显变慢。

参考资料

[1]grequests: https://github.com/spyoungtech/grequests

[2]Gevent: http://www.gevent.org/


 

 

 

推荐阅读:

入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径

量化: 定投基金到底能赚多少钱?  | 我用Python对去年800只基金的数据分析

干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析|   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记灯谜答题王 |用Python做个海量小姐姐素描图碟中谍这么火,我用机器学习做个迷你推荐系统电影

趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!

AI: 会做诗的机器人给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影

小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

年度爆款文案


 

 

 

 

 

 


 

 

 
点阅读原文,领AI全套资料!
机器学习入门指南:Jupyter Notebook实战 对于机器学习工程师而言,他们更擅长的是算法、模型、数据探索的工作,而对于工程化的能力则并不是其擅长的工作。Jupyter Notebook生成PMML文件1​​​​​​​。Jupyter Notebook生成PMML文件2​​​​​​​。PySpark Notebook建模 -折线图​​​​​​​。TensorFlowNotebook建模​​​​​​​。R Notebook建模 - 散点图​​​​​​​。PySpark Notebook建模​​​​​​​。R Notebook获取训练数据集​​​​​​​。 阅读详情

相关推荐

用Isaac Sim复现经典案例:手把手教你写Python脚本控制机械臂抓取(附避障算法调试心得)

本文详细介绍了如何使用NVIDIA Isaac Sim仿真系统复现机械臂抓取经典案例,包括Python脚本编写、避障算法调试等关键步骤。通过URDF模型导入、关节控制逻辑实现和RMPFlow避障配置等实战演示,帮助开发者快速掌握机器人仿真技术,特别分享了官方文档未提及的实用调试技巧和性能优化策略。

weixin_30632089的博客 409

一经开源就爆了!谷歌这个脚本工具注定要火

开源最前线(ID:OpenSourceTop) 猿妹整编项目地址:https://github.com/google/zx大家都知道Bash很好用,但是在编写脚本时,人们通常会选择一种更方...

cainiao_python的博客 981

【BAT32G113-仿真器及脱机烧录器教程-A3-2024/9/19】

提示:此壁纸收集于互联网,如有侵权,请联系作者!今日下班,闲来无事,就与生活中在乎的人闲日常,互相彼此增进一些友谊或爱意情愫!在座的朋友看到这里,有时间,抽抽空,多多联系一下,身边重要的人哟!四种指示灯和一个按钮:MODE->代表红色POWER->代表黄色ACTIVE->代表蓝色STATUS->代表XX(不记得了)黑色按钮:按键上电,会进入升级模式,这里我们一般默认不需要改变!仿真工具-ICE8-PRO介绍隶属于产品分支里。烧写工具-CMS-WRITER8 LITE介绍点击。

星新计划的博客 8275

python爬虫requests一万条数据_requests发送数据和对反爬虫的处理 ----------python的爬虫学习...

url='https://www.baidu.com/s?wd=123'head={'User‐Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKi t/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}rep=requests.get(url,head...

weixin_39640687的博客 189

基于LabVIEW控制仪器检测与监控 --普源示波器DS1102Z-E

LabVIEW 控制普源示波器 代码实现与解释

s0101100的博客 4236

Python 爬虫实战:爬取豆瓣读书评论并分析

摘要:本文以豆瓣读书《活着》评论数据为例,详细讲解Python爬虫开发与文本分析全流程。首先通过requests库爬取评论数据,解决分页、反爬等问题;然后利用BeautifulSoup解析页面提取评论内容、评分等核心信息;最后结合jieba进行关键词提取、snownlp完成情感分析,并通过可视化展示结果。分析显示该书评分以5星为主(占比70%),正面评论达82%,核心关键词为"活着""余华""生命"。全文包含完整代码与详细解析,帮助读者掌握非结构化

2503_91057718的博客 1500

使用python-requests循环多次访问一个网页

一、安装1、cmd进入命令行界面2、直接输入 D:切换至D盘(python所在路径),然后cd  python下的scripts所在路径,切换至pip所在位置3、pip install requests  即可安装requests其中,pip版本过低时,使用:python -m pipinstall --upgrade pip升级pip版本二、requests的使用循环访问一个网页多次:impor...

byf0521hlyp的博客 1万+

(5)ModalAI VOXL2

Ardupilot官网关于《Non-GPS navigation》的翻译 —《(5) ModalAI VOXL2》。

无人机开发(开源Ardupilot) 1万+

探索Google的ZX:一个轻量级的命令行脚本语言

探索Google的ZX:一个轻量级的命令行脚本语言 【免费下载链接】zx A tool for writing better scripts 项目地址: https://gitcode.com/GitHub_Trending/zx/zx ...

gitblog_00057的博客 761

【AUTOSAR-IpduM】-2.2-创建并配置一个接收RX的(Multiplexed-I-PDU)多路复用

案列背景: 在CFG中配置一个发送TX的(Multiplexed-I-PDU)多路复用Frame。 目录 1 在Arxml中创建一个发送的多路复用Frame 2 CFG导入带多路复用Frame的ARXML 2.1 CFG中提示的错误Error 2.2 如何解决CFG中提示的错误Error 3 结尾 <--返回「Autosar_BSW高阶配置」总目录--> <--返回「Autosar_BSW高阶配置」专栏主页--> <--返回「个人博客」首页--&g..

「汽车电子助手」的博客 1572

广州吉欧电子科技有限公司安卓开发工程师岗位 - 技术核心、职责详解与面试指南

广州吉欧电子科技有限公司招聘安卓开发工程师,该岗位可接收优秀应届生。岗位职责包括:1)负责安卓应用架构设计与开发,确保稳定性和可扩展性;2)功能模块编码实现与测试;3)性能优化与用户体验提升;4)后端接口对接;5)系统版本适配;6)用户反馈处理迭代;7)特殊要求熟悉RTK高精度定位技术原理及使用。该岗位要求扎实的安卓开发技术、良好的架构设计能力、性能优化经验,以及特定领域的RTK专业知识,是一个技术全面且具有专业特色的开发岗位。

郑伟强dev的专栏 157

轻松打造命令行工具:探索 zx | 超棒 NPM 库.md

工具的诞生背景是由于传统的 Unix shell 脚本(如 Bash)存在一些限制和不便之处,特别是对于那些熟悉 JavaScript 和 Node.js 生态的开发者来说。提供的是一个更为简洁、更易于使用的接口,同时集成了多种功能,使得编写复杂的脚本变得更加直观和便捷。是为了简化和加强命令行脚本的编写,让开发者能够使用更现代的语言特性来创建更加健壮和易于维护的脚本。,你可以非常方便地创建一个跨平台的脚手架工具,同样,你也可以引入其他的库来增强你的脚手架功能,例如。

王乐平 技术博客 2135

基于 YOLOv26 的电路焊点虚焊检测系统:AI 质检实战

本文介绍了一种基于YOLOv26的电路焊点虚焊检测系统,利用深度学习技术实现自动化质检。系统能识别虚焊、桥接、少锡等8种常见焊点缺陷,具有高精度、实时性和强鲁棒性等特点。文章详细阐述了系统架构,包括数据采集、预处理、YOLOv26检测模型和后处理模块,并提供了代码实现的关键部分,如数据预处理增强和模型训练配置。该系统可显著提高电子制造业的质检效率和准确性。

一键难忘的博客 697

天下武功唯快不破

http://www.shiyanbar.com/ctf/1854 天下武功唯快不破 看看响应头 格式:CTF{ } 解题链接: http://ctf5.shiyanbar.com/web/10/10.php 解: 题目提示:看看响应头 1.在软件开发中,我们有时会需要查看某网页请求的头部数据。尤其是POST方法的数据。使用POST方式怎么看报文: http://jin

Gunther的博客 5012

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

CTF-实验吧-天下武功唯快不破

题目: 看看响应头 格式:CTF{ } 解题链接:http://ctf5.shiyanbar.com/web/10/10.php 解题思路: 题目提示看相应头就先用浏览器打开题目链接查看相应头发现存在一个名为FLAG的字段,值为base64加密的字符串 通过在线工具解密,提示需要POST一个值来获取FLAG,然后页面源码上提示了POST的参数为KEY。题目中还提示了要快,...

kongcz的专栏 653

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

WEB-天下武功唯快不破-实验吧

writeup ps.看着题目像是要写脚本,感觉很多跟速度有关的都得写脚本 另外推荐一个炒鸡好用的ctf在线工具集http://ctf.ssleye.com/ 开始看题 题目自带提示:看看响应头 打开页面发现是唯快不破的英文 然后看响应头 这里使用burp抓包 可以发现有提示 FLAG: UDBTVF9USElTX1QwX0NINE5HRV9GTDRHOmp6OUxmYjVVTA== 并以pos...

秋阁 395

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

天下武功唯快不破-实验吧

  点开看见 然后题目暗示看看响应头,结果看到flag 感觉就是base64加密,然后解密,这个时候看下页面代码还有这句 所以题目就是想要我们去拿到header的flag,base64解密,然后再在url传key     同时还发现,传过来的flag是个随机值........手动解密是不够时间的了,只能借助脚本的力量了 #coding:utf-8 import reque...

Xi4or0uji 4481

实验吧_天下武功唯快不破&让我进去(哈希长度拓展攻击)

天下武功唯快不破 第一反应就去抓包,看到返回包的header中有FLAG的值,base64解码后得到下图所示 这就要求我们在请求头中post相应key的值,我直接在burp中尝试了多次都没有用,想起来这道题讲的应该是快,所以果断拿出python跑一跑 1 import requests 2 import base64 3 4 url = 'http://ctf5.s...

a173262565的博客 214

实验吧-天下武功,唯快不破

天下武功,唯快不破 原题链接 http://ctf5.shiyanbar.com/web/10/10.php 分析 There is no martial art is indefectible, while the fastest speed is the only way for long success. 没有武术是不可摧毁的,而最快的速度是获得长期...

苟有恒,必有三更眠,五更起。 318

实验吧-web-天下武功唯快不破(Python中byte和str的转换)

题目:看看响应头 打开网站,既然已经提示我们看响应头了,那我们就看看呗(习惯bp,也可直接F12查看)  可以看到,响应头部分有个FLAG,而且有提示:please post what you find with parameter:key 所以就将FLAG解码后post,解码之后是:P0ST_THIS_T0_CH4NGE_FL4G:omiFOwSfc 所以post:key=omiFO...

Sea_Sand息禅 439

实验吧-Web-天下武功唯快不破

哟!天下武功为快不破?啥意思?告诉我这道题需要很快做出来呗。行吧,看题 然后点开解题链接,然后一脸懵逼。。。 看一下源码,也是一脸懵逼。。。 不过还是在注释里面看出了猫腻。 网页源码出有一段注释,大体意思是:让我们查看"响应头" , 并将数据以POST的形式发送 。 好哒!按照它给的提示做 首先切换到Network,然后Ctrl + R 然后。。。然后。。。发现flag了,哈...

烟雨天青色 360

实验吧——天下武功唯快不破wp

之前做过的题,现在使用Python编写脚本跑flag 解题链接: http://ctf5.shiyanbar.com/web/10/10.php 之前的解题思路比较笨,比手速,还是用burpsuite加解密尝试好多次才成功。 题目提示:看响应头 发现有一段base64的密文,解密后得到大概这种格式P0ST_THIS_T0_CH4NGE_FL4G:OBjO42meW 再结合f12响应内容...

weixin_40709439的博客 466

VMware Workstation 安装 CentOS 7.9 完整实践指南

Linux 虚拟化环境部署是运维、测试与教学场景中的基础能力,其核心在于发行版生命周期管理与虚拟硬件协同原理。CentOS 7.9 作为长期稳定分支,依赖 kernel-3.10.0 和 systemd-219 等冻结版本,具备确定性内核行为与兼容性保障,广泛应用于协议分析、遗留系统验证及实验平台构建。在 VMware Workstation 中实现可靠部署,需深入理解 BIOS/UEFI 启动机制、VMXNET3 驱动适配、initramfs 模块加载逻辑及 SELinux 上下文控制等关键技术点。本文聚

weixin_34343308的博客 300

记一次CTF过程(Writeup)

前言在i春秋平台看到几个ctf练习题,就点进去看看吧,能做就做不能做说明水平有限,还要继续加油(革命尚未成功,同志仍需努力)O(∩_∩)O哈哈~第一题:Robot题目名称:Robot有没有觉得这个题目很熟悉?没错robots.txt!很熟悉。可能解题思路就和robots.txt有关了。访问链接,网页显示位一张机器人的图片,没什么信息,网页源代码同样没有什么具有价值的信息。那我们就抓个包看看吧,用b

_Ralph的博客 4万+

CTF---Web入门第十六题 天下武功唯快不破

天下武功唯快不破分值:10 来源: 北邮天枢战队 难度:易 参与人数:10787人 Get Flag:2264人 答题人数:3373人 解题通过率:67% 看看响应头 格式:CTF{ } 解题链接: http://ctf5.shiyanbar.com/web/10/10.php 原题链接:http://www.shiyanbar....

weixin_34162695的博客 180

详解 CTF Web 中的快速反弹 POST 请求

目录 0x00 前言 0x01 Python Requests 安装并导入 requests 模块 发送 GET 请求与 POST 请求 查看请求头 查看响应头 查看响应内容 传递 GET 请求参数 传递 POST 请求参数 传递 Cookie 参数 会话对象 Session() 0x02 writeups 【实验吧 CTF】 Web —— 天下武功唯快不破 【Bugk...

小水池 9029
上一篇: 太赞了!最全的Python 处理日期与时间的全面总结!
下一篇: 电脑长时间不关机会缩短寿命吗?
菜鸟学Python
博客等级 码龄9年 8095粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值