mitmproxy笔记

看见我书了吗

已于 2022-07-22 15:51:16 修改

阅读量868

点赞数

分类专栏：爬虫文章标签： https ssl

于 2022-02-22 18:23:30 首次发布

本文链接：https://blog.youkuaiyun.com/qq_43572758/article/details/123074402

版权

爬虫专栏收录该内容

19 篇文章

订阅专栏

本文介绍了如何在Ubuntu上安装mitmproxy并解决SSLError，重点讨论了Firefox和Chrome的证书库区别，以及如何将mitmproxy证书添加到系统并信任。同时提到了requests和certifi的相关作用，以及Hamibot等自动化工具的配合使用技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

mitmproxy证书在http://mitm.it下载, 或者在~/.mitmproxy/

ubuntu安装mitmproxy．可以到官网下载二进制文件．pip安装出了问题．

Firfox和Chrome有各自独立的证书库, 与系统证书无关.

证书已添加到系统证书, requests设置mitmproxy提示SSLError, curl和requests信任哪里的证书呢?

ubuntu 添加信任证书

requests有个子项目Certifi

Certifi provides Mozilla’s carefully curated collection of Root Certificates for validating the trustworthiness of SSL certificates while verifying the identity of TLS hosts. It has been extracted from the Requests project.

mitmproxy debug

# main.py

from mitmproxy.tools.main import mitmdump

args = '--set confdir=~/.mitmproxy_custom -s /Users/wiliam/PycharmProjects/test/XiaoHongShu/script.py --mode socks5'
mitmdump(args.split(' '))

# /Users/wiliam/PycharmProjects/test/xhs/script.py

from mitmproxy import ctx
from jsonpath import jsonpath


def response(flow):
    url = '/api/sns/v6/homefeed'
    if url in flow.request.url:
        res = flow.response.json()
        ad = jsonpath(res, '$..data[?(@.is_ads==True)]')
        ctx.log.info(ad)