Python模拟HttpRequest的方法总结

Python网络编程:HTTP请求(requests模块) requests模块是一个用于发送HTTP请求的第三方库,其设计初衷是简化HTTP请求的发送和处理。与Python标准库中的urllib相比,requests提供了更直观和便捷的API,使开发者能够快速编写功能强大的HTTP客户端。1.1 安装requests模块在使用requests模块之前,需要先安装它。1.2 导入requests模块。 阅读详情

Python可以说是爬网的利器,本文主要介绍了一些python来模拟http请求的一些方法和技巧。

Python处理请求的类库有两个,urllib,urllib2。 这两个类库并不是一个类库的两个不同版本,urllib主要用来处理一些url相关的内容,发送请求的时候,请求对象只能是一个url。urllib2可以用request对象来实现请求,这样就可以实现如伪造头部,设置代理,http get,http post等方法。

阅读本文需要了解http请求的一些基本知识,如:

  • 什么是httpwebrequest,httpwebresponse
  • 什么是get,post
  • 什么是cookie

本文主要介绍模拟请求用到的这些方式:

  • 设置代理
  • 伪造头部或者Header信息
  • 启用cookie
  • url参数的处理

使用urllib2.urlopen直接发送

import urllib2

url = 'http://www.baidu.com/'
response = urllib2.urlopen(url) ##urlopen接受传入参数是string或者是request
response_text = response.read()

 

使用urllib.build_opener

直接发送请求
import urllib2

url = 'http://www.baidu.com/'

opener = urllib2.build_opener()
response = opener.open(url)
response_text = response.read()
通过代理访问站点
proxy_handler = urllib2.ProxyHandler({"http" : 'http://localhost:8888'})
opener = urllib2.build_opener(proxy_handler)
response = opener.open(url)
response_text = response.read()
请求中附带request body(http post)
opener = urllib2.build_opener()
response = opener.open(url,'request body')
response_text = response.read()

body中如果是key-value形式的,可以参照下面的url处理部分来处理

启用Cookie
cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(url)
response_text = response.read()

使用urllib2.Request

请求中添加自定义的Header信息
request = urllib2.Request(url)
request.add_data('1234567')
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)

处理url中的参数信息

无论是使用get方式还是post方式,经常会遇到需要使用参数的形式,处理参数可以使用下面的类库

参数集合转string
para = {'111':'222','aaa':'bbb'}
encodeurl = urllib.urlencode(para)
输出aaa=bbb&111=222
url参数转dictionary
url = 'https://www.baidu.com/s?wd=python%20url%20querystring&pn=10&oq=python%20url%20querystring&tn=baiduhome_pg&ie=utf-8&usm=1&rsv_idx=2&rsv_pq=d09af93600035cb8&rsv_t=d151qRmNNdybGINHcKbyO360E2%2Fg%2FUs2t0MiKqRQXwhHZuNF3IlKyyStzYuofVZczQA3'

splitresult_instance = urlparse.urlsplit(url)

 

输出对象:

SplitResult(scheme='https', netloc='www.baidu.com', path='/s', query='wd=python%20url%20querystring&pn=10&oq=python%20url%20querystring&tn=baiduhome_pg&ie=utf-8&usm=1&rsv_idx=2&rsv_pq=d09af93600035cb8&rsv_t=d151qRmNNdybGINHcKbyO360E2%2Fg%2FUs2t0MiKqRQXwhHZuNF3IlKyyStzYuofVZczQA3', fragment='')

想转成集合只要

result_dic=urlparse.parse_qs(splitresult.query)

通过这种处理方式,把data信息放在url上来实现http get,放在body中实现http post。

 

此文同时托管在了 http://simmon.club/blog/Python-HttpRequest/ 上

Java实现数美滑块验证码破解:从抓包分析到行为模拟的完整方案 滑块验证码是一种广泛应用的交互式验证技术,其核心原理是通过要求用户完成滑块拖动操作,并结合轨迹分析来区分人类与自动化脚本。该技术通过监测移动速度、加速度、停顿等行为特征,构建有效的风控防线。在自动化测试、数据采集等工程实践场景中,破解此类验证码需要综合运用网络协议分析、图像识别和行为模拟技术。本文聚焦于数美滑块验证码,深入探讨了如何通过抓包获取关键参数、使用OpenCV进行图像匹配计算滑动距离,并重点解析了模拟人类拖动轨迹的算法与HMAC-SHA256签名逆向等核心热词技术,为相关开发场景提供了一套可落地的 阅读详情

相关推荐

Python实战:超分辨率图像质量评估全攻略——PSNR、SSIM、LPIPS与NIQE的代码实现与优化

本文详细介绍了在Python中实现超分辨率图像质量评估的完整方案,涵盖PSNR、SSIM、LPIPS和NIQE四大核心指标。通过模块化代码设计、多进程并行处理和GPU加速优化,帮助开发者构建高效、可扩展的评估系统,并提供了实战避坑指南与结果解读方法。

weixin_29053073的博客 480

httpwebrequest详解

HttpWebRequest和HttpWebResponse类是用于发送和接收HTTP数据的最好选择。它们支持一系列有用的属性。这两个类位 于System.Net命名空间,默认情况下这个类对于控制台程序来说是可访问的。请注意,HttpWebRequest对象不是利用new关键字通过构 造函数来创建的,而是利用工厂机制(factory mechanism)通过Create()方法来创建的。另外,你可

mx5721的专栏 1145

中微8S6990外设开发实战:从GPIO配置到低功耗休眠的完整指南

本文提供了中微8S6990增强型8051单片机从GPIO配置到低功耗休眠的完整实战指南。详细讲解了开发环境搭建、GPIO灵活配置、定时器中断、ADC采样优化、PWM电机控制等核心外设的编程要点与避坑技巧,并重点阐述了实现超低功耗休眠的系统性外设管理策略,帮助开发者快速上手并优化产品续航。

weixin_29162439的博客 535

Python的Web请求:requests库入门与应用

requests本文介绍了requests库的基本用法和高级应用,包括GET和POST请求、请求头、错误处理、文件上传下载等操作。通过requests库,你可以轻松地完成Web数据采集、API集成、文件处理等任务,是Python开发者必备的工具之一。希望本教程能帮助你掌握requests库的使用,并灵活应用到实际项目中!

萧鼎的博客 957

【Unity Shader】2D模型 3D模型混用的穿模问题(Spine在3D场景中出现前后穿模问题的解决办法)

问题描述: 在3D场景中使用Spine模型(2D), 因为Spine需要像Billboard类似的处理,永远是垂直与相机的, 所以一般情况下2D模型能正常显示且前后的阻挡关系也是没有问题的,如下图所示,一切都很美好.(这里用一个四边形,图中的福字表示2D模型) 可是如果后面蓝色的格子比较高,或者2D角色本身也比较高,那么就会出现模型穿插的问题,如下图所示: 如果吧2D模型竖立起来,前后关系肯定是没有问题的,所以也能避免模型穿插的问题,可是就没有Billboard效果,圆形的福字已经被压扁了,如下图:

Vitens的专栏 4594

机器学习第五章之决策树模型

机器学习专题系列

wangyutao12345的博客 5189

HttpWebRequest详解

Determining Whether the Device Is Connected Most network applications need to know whether the device is currently connected to the network. A well-designed mobile application allows the user to make

python二级题库 5046

Cadence Allegro实战:如何精准导入结构DXF文件避免安装偏差(附图层配置技巧)

本文详细讲解了在Cadence Allegro中精准导入结构DXF文件以避免安装偏差的实战技巧。核心在于导入前的单位校准、创建专用图层结构,以及基于坐标基准点的精确对齐方法。文章还分享了将DXF图形转化为正式板框和禁布区、高效管理图层以及向结构工程师导出DXF的完整流程,帮助PCB工程师确保设计与机械结构完美契合。

1a2s3d4f5g的博客 510

python request 方法_Python模拟HttpRequest的方法总结

Python可以说是爬网的利器,本文主要介绍了一些python来模拟http请求的一些方法和技巧。Python处理请求的类库有两个,urllib,urllib2。 这两个类库并不是一个类库的两个不同版本,urllib主要用来处理一些url相关的内容,发送请求的时候,请求对象只能是一个url。urllib2可以用request对象来实现请求,这样就可以实现如伪造头部,设置代理,http get,ht...

weixin_39881387的博客 490

【人工智能时代】- 一键部署本地AI大模型

Ollama是一个开源项目,致力于简化大型语言模型(LLM)的本地部署过程。它允许用户在自己的硬件上运行和测试最新的语言模型,无需依赖云服务。Ollama提供了一个类似于OpenAI的API接口,使得开发者可以轻松地在自己的应用程序中集成大型语言模型。此外,Ollama WebUI为用户提供了一个友好的界面,用于管理和与模型进行交互。

xiaoli8748的专栏 2408

LLC设计指南(一)第一章:别一上来就背公式,先把 LLC 的“脾气”摸清楚

很多工程师第一次学 LLC,都会有一种感觉:这个电源拓扑,好像不是在工作,而是在“跳舞”。Buck 很直观,开关一开,电感充电;开关一关,电感放电。Flyback 也好理解,先存能量,再把能量丢给副边。但 LLC 不一样。它不是硬邦邦地把能量“推过去”,而是让电感、电容、变压器一起形成一个谐振网络,让能量在里面来回摆动。控制器再通过调节开关频率,把这个摆动过程“驯服”成稳定输出。这也是 LLC 最迷人的地方:🎯。

weixin_43199439的博客 327

python中request介绍_菜鸟初识python request属性及方法说明

原博文2016-07-23 14:55 −if request.REQUEST.has_key('键值'): HttpRequest对象的属性 参考: 表 H-1. HttpRequest对象的属性 属性 描述 path 表示提交请求页面完整地...相关推荐2019-12-18 22:00 −Request对象在我们写爬虫,爬取一页的数据需要...

weixin_39602976的博客 646

【时时三省】vector cast (vcast) 集成测试使用教程

山不在高,有仙则名。水不在深,有龙则灵。----优快云 时时三省。

时时三省的博客 711

一站式API模拟测试神器:MockServer如何让复杂依赖测试变得简单高效

在当今微服务架构盛行的时代,每个服务都依赖着众多外部API。当这些依赖不可用、不完整或难以复现时,开发与测试工作就陷入了困境。MockServer正是为解决这一痛点而生的开源工具,它不仅能模拟HTTP/HTTPS服务,还能代理真实流量、注入故障,让API测试变得前所未有的简单可控。 ## 为什么你需要MockServer? 想象一下这些场景:你的支付服务依赖第三方支付网关,但测试环境无法调用真

gitblog_00323的博客 607

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

python爬虫工作中遇到的问题_python爬虫中采集中遇到的问题整理

在爬虫的获取数据上,一直在讲一些爬取的方法,想必小伙伴们也学习了不少。在学习的过程中遇到了问题,大家也会一起交流解决,找出不懂和出错的地方。今天小编想就爬虫采集数据时遇到的问题进行一个整理,以及在遇到不同的问题时,我们应该想的是什么样的解决思路,具体内容如下分享给大家。1、需要带着cookie信息访问比如大多数的社交化软件,基本上都是需要用户登录之后,才能看到有价值的东西,其实很简单,我们可以使用...

weixin_39783915的博客 196

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

鸿蒙ArkTS调用本地Python模型实战

在鸿蒙ArkTS应用中调用本地Python模型进行离线AI推理,核心是通过机制(如HTTP服务、进程间通信IPC或共享文件)将ArkTS端的数据传递给本地Python进程,由Python加载并执行模型推理,再将结果返回给ArkTS端。以下是两种主流实现方案的对比与详细步骤。

2401_83797894的博客 1112

Python爬虫简介&实例——百度翻译&豆瓣电影的爬取

Python爬虫简介 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 其实通俗的讲就是通过我们自己写的程序来模拟浏览器访问网页的过程,从而快速高效的获得互联网中的数据 Request & Response 浏览器访问互联网中的服务器以获取数据资源是通过请求的方式进行的,浏览器给服务器发送的消息就叫做HTPP Request,而服务器返回给我们的数据信息就是Response,在浏览器中我们一般可以通过F1

monster663的博客 1389

MockServer 终极指南:构建智能API测试与模拟服务的完整教程

在微服务和分布式系统日益复杂的今天,如何高效测试API交互、模拟依赖服务、确保系统稳定性成为开发团队面临的核心挑战。MockServer作为一款强大的HTTP/HTTPS模拟服务器,为开发者提供了完整的解决方案。本文将带你深入探索MockServer的核心功能,掌握从基础配置到高级应用的全方位技能。 ## 为什么选择MockServer? MockServer不仅仅是一个简单的模拟工具,它是一

gitblog_00352的博客 285

Python学习之路-Tornado基础:异步与WebSocket

对于耗时的过程,我们将其交给别人(如其另外一个线程)去执行,而我们继续往下处理,当别人执行完耗时操作后再将结果反馈给我们,这就是我们所说的异步。我们用容易理解的线程机制来实现异步。因为epoll主要是用来解决网络IO的并发问题,所以Tornado的异步编程也主要体现在网络IO的异步上,即异步Web请求。WebSocket是HTML5规范中新提出的客户端-服务器通讯协议,协议本身使用新的ws://URL格式。

geobuins的博客 1713

Django视图层核心解析与实战技巧

Web开发中的视图层是处理用户请求与生成响应的核心组件,在Django框架中通过HttpRequest和HttpResponse对象实现请求-响应循环。其设计遵循MVC/MVT模式,通过分离业务逻辑与表现层提升代码可维护性。在技术实现上,视图既可以是函数式也可以是类式,支持同步/异步处理,并内置CSRF防护、缓存优化等企业级特性。对于Python全栈开发者而言,掌握Django视图层的请求对象解析、响应类型选择以及类视图(CBV)的应用,能显著提升开发效率。特别是在构建RESTful API或处理高并发场景

weixin_33866037的博客 456

Django视图层核心原理与实战技巧

Web开发中的视图层是处理HTTP请求与响应的核心组件,Django框架通过WSGI规范实现了高度抽象的视图机制。从技术原理看,视图本质上是可调用对象,支持函数视图(FBV)和类视图(CBV)两种模式,并提供了异步视图(Async Views)等现代特性。在工程实践中,开发者需要深入理解HttpRequest对象的GET/POST参数处理、文件上传(FILES)和会话管理(session)等核心功能,同时掌握JsonResponse、FileResponse等响应类型的应用场景。通过类视图的继承体系、视图装

weixin_33912453的博客 308

Windows平台Frida+Python安卓APP逆向分析实战:从环境搭建到Hook脚本编写

动态插桩技术是软件逆向分析与安全测试领域的核心方法之一,它允许在不修改原始程序的情况下,实时监控和干预其运行时行为。其原理是通过向目标进程注入代码,拦截函数调用、读写内存数据,从而实现对程序内部逻辑的深度洞察。这项技术在移动安全、漏洞挖掘、协议分析和自动化测试中具有极高价值,尤其适用于安卓APP的运行时行为分析。Frida作为一款主流的动态插桩框架,以其跨平台、支持JavaScript脚本和强大的动态交互能力,成为逆向工程师和安全研究员的得力工具。结合Python进行自动化脚本开发,可以构建高效的分析工作流

weixin_34186128的博客 378

Python单元测试打桩技术:unittest.mock模块实战指南

在软件测试领域,单元测试是确保代码质量的基础环节。其核心原理在于隔离被测代码单元,验证其内部逻辑的正确性。当代码依赖外部服务(如数据库、API接口)时,直接调用会产生速度慢、不稳定等问题,这时测试替身技术应运而生。通过模拟外部依赖的行为,测试替身技术能够提供可控的测试环境,其技术价值在于提升测试的稳定性、执行速度和可维护性。在Python开发中,这一技术广泛应用于Web应用、数据管道和微服务等场景。本文聚焦于Python标准库中的unittest.mock模块,深入解析Mock对象、patch装饰器等核心工

weixin_33911824的博客 380

python面试题收集(持续更新)

本篇精简为python相关面试,通用的面试题移至《通用后端面试题收集(持续中)》

weixin_40453090的博客 1392

Python在CTF竞赛中的实战应用:解析、破解与自动化

在网络安全和编程实践中,脚本语言是提升效率的关键工具。Python作为一种高级编程语言,以其简洁语法和丰富库支持,成为自动化任务的首选。其核心原理在于通过模块化设计,将复杂问题分解为可编程的步骤,从而在数据处理、协议分析和算法实现中发挥巨大技术价值。在CTF(Capture The Flag)竞赛场景中,Python的应用尤为突出,涉及数据解析、密码破解和流程自动化等多个层面。例如,利用requests库进行Web请求自动化,或通过hashlib模块实现哈希碰撞,都是典型的热门应用。掌握这些技能不仅能提升解

weixin_30847865的博客 413
上一篇: 在Github上搭建自己的博客(Windows平台)
下一篇: 收藏的精华Python学习文章
夕阳流转
博客等级 码龄11年 0粉丝 5原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值