目录
一、前言
在Python开发中,网络请求是常见的操作之一。无论是使用内置的urllib库还是第三方库requests,都可能遇到请求失败或数据返回不正确的问题。为了定位和解决这些问题,我们可以使用Charles这样的抓包工具来监控和分析Python程序发出的HTTP和HTTPS请求。
但是常见的现象是,Charles与Python程序并不能一起运行,这会导致程序报错。
二、Charles
Charles是一个跨平台的网络抓包工具,能够捕获HTTP和HTTPS请求及其响应,支持多种操作系统。其主要功能包括:捕获HTTP和HTTPS请求与响应;过滤请求,便于快速定位问题;拦截请求和响应,修改请求参数或响应内容;本地和远程映射,方便开发和测试。
比如前些年比较火的🐏了个🐏,我就使用charles修改了服务器下发的关卡信息,实现通关的哈哈。
Charles的使用教程:Charles WIN10配置教程
三、抓取Python请求
那么,当我们开启Charles的代理时,此时再运行Python程序,常常是会报错的。
比如这里我写了一个获取我写过的文章标题的程序:
import time
import requests
# TODO:先将下面参数改为自己的
user_id = 'qq_39724355' # 被点赞的用户ID
user_Agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
def Get_Articles():
url = "https://b