mItmproxy的使用(应用于爬虫)

本文介绍了mitmproxy的基本用法,包括如何获取和修改请求与响应信息,如请求URL、请求头、响应状态码等。mitmproxy在爬虫中的应用,可以用于修改cookies和设置代理,以应对网站的反爬策略,同时提醒了网络安全的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Mitmproxy的使用

本文主要是对mitmproxy的使用做基本的整理,方便后续自己的使用查询。

  • 基本介绍
    首先我们定义一个函数,如下:
def request(flow):
    flow.request.headers['User-Agent'] = 'Mitmproxy'
    print(flow.request.headers)

参数flow,我们可以通过flow.request属性获取当前请求,

  • 日志输出
    调用ctx模块:from mitmproxy import ctx引入,然后通过ctx.log.xxx输出:
  1. ctx.log.info(显示白色)
  2. ctx.log.wran(显示黄色)
  3. ctx.log.error(显示红色)
  • Request
    定义request()方法:
def request(flow):
    flow.request.headers['User-Agent'] = 'Mitmproxy'
    print(flow.request.headers)

通过flow.request.xxx获取相应属性,如:

  1. flow.request.url(请求的url地址)
  2. flow.request.headers(请求头信息)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值