python康复日记-request库的使用，爬虫&自动化测试

原创已于 2025-03-26 15:33:21 修改 · 508 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发语言

于 2025-03-24 09:21:51 首次发布

测开的面试康复日记专栏收录该内容

2 篇文章

订阅专栏

一，request的简单应用

#1请求地址
URL='https://example.com/login'
#2参数表单
form_data = {
    'username': 'admin',
    'password': 'secret'
}
#3返回的响应对象response
response = requests.post(
    URL,data=form_data,timeout=5
)
#4处理返回结果，这里直接打印返回网页的正文。通常需要json转化，和encode编码下
print(reponse.content)

1，请求头需要设置，有些网站会限制访问

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36',
        'Referer': 'https://www.99csw.com/',
        'Accept-Language': 'zh-CN,zh;q=0.9'
    }

    try:
        # 发送HTTP请求
        response = requests.get(url, headers=headers, timeout=15)

2，response的属性

发送request请求后，返回的reponse对象里有我们要的信息，需要处理。常用的3个标粗了。

属性/方法	类型/返回类型	说明
`status_code`	`int`	HTTP 状态码（如 200、404、500）
`headers`	`CaseInsensitiveDict`	响应头字典（不区分大小写）
`text`	`str`	解码后的文本内容（自动根据 `encoding` 解码）
`content`	`bytes`	原始字节内容（未解码的二进制数据）
`json()`	`dict`/`list`	解析 JSON 响应内容（非 JSON 内容会抛异常）
`url`	`str`	最终请求的 URL（含重定向后的地址）
`encoding`	`str`	响应内容的编码格式（可手动修改）
`apparent_encoding`	`str`	通过内容分析出的编码格式（自动检测）
`raw`	`HTTPResponse`	原始响应流对象（需配合 `stream=True` 使用）
`cookies`	`RequestsCookieJar`	服务器返回的 Cookies
`elapsed`	`datetime.timedelta`	请求耗时（从发送到响应完成的时间）
`history`	`list[Response]`	重定向历史记录列表
`reason`	`str`	状态码的文本描述（如 200 → "OK"，404 → "Not Found"）
`request`	`PreparedRequest`	关联的请求对象（含请求头、方法、URL 等信息）

rep = reponse.content.decode('utf8')，content获取的正文是二进制，注意编码。

正文处理通常需要 json格式化和 re正则模块的匹配。

#对返回content正文中，span标签的获取，标题内容获取
pattern1 = re.compile(r'<span class="title">([^&]*?)</span>')
titles = pattern1.findall(resp.text)

3，session会话保持，处理cookie，保持会话。

Session 对象存储特定用户会话所需的属性及配置信息。可以带上cookie含帐号密码。

成功登陆之后，直接获取返回响应的cookie

def login():
    login_url = 'http://www.xxx.com/login'
    headers = {
         "Accept": "application/json, text/javascript, */*; q=0.01"
     }
    body = {
        "usercode": "liuzz05@****.com",
        "password": "123456"
     }
    try:
        res = requests.post(url=login_url, headers=headers, data=body)
        cookies = res.cookies
        cookie = requests.utils.dict_from_cookiejar(cookies)
        return cookie
    except Exception as err:
         print('获取cookie失败：\n{0}'.format(err))

如果没有，先登录，从浏览器工具栏取cookie，找信息。

F12检查请求。cookie里有大串字母，password，token等字样说明这个可能是带密码账号的cookie，要具体情况定。

直接使用cookie，或者把cookie放在header参数中，依据具体网站请求头格式而定

把cookie转化为字典格式，手动扣cookie的键值对。本地文件写入分析，拼接

def get_data():
 cookie = login()
 res = requests.get(url=get_data_url, cookies=cookie)
 print(res.text)

def get_data():
 cookie = login()
 headers = {
	 "cookie": cookie
 }
 res = requests.get(url=get_data_url, headers=headers)
 print(res.text)

一个完整的登录案例。

def auto_login():
    s = requests.Session()
    r = s.get(login_url)
    bs = BeautifulSoup(r.text,'html.parser')
    image = bs.find("img", {"id": "vcJpeg"})['src']
    lt_data = bs.find("input", {"name": "lt"})['value']
    csr_data = bs.find("input", {"name": "csrftoken"})['value']
    sec_data = bs.find("input", {"name": "sec"})['value']
    #print(lt_data,",",csr_data,",",sec_data)
    rootdir="http://172.16.5.12:10086"
    ir = s.get(rootdir+image)
    if ir.status_code == 200:
        with open('valid.jpg', 'wb') as f:
            f.write(ir.content);
            f.close();
        validateCode = get_code(Image.open('valid.jpg'))  # 通过本地图片解析验证码
        print(validateCode)
    postdata={
        'csrftoken': csr_data,
        'username': uosp_username,
        'password': base64.b64encode(uosp_passwd.encode('utf-8')),
        'institute': '00010000',
        'validateCode': validateCode,
        'lt': lt_data,
        'sec': sec_data,
        'dn': '',
        'ip': '144.4.44.44',
        '_eventId':'submit',
    }
    print(postdata)
    form_data={
        "action":"GetINCInfoByID",
        "id":"INC000287932",
    }
    s.post(login_url,data = postdata)
    s.post(incident_url,data = form_data)
    s.post(servicelogin_url)
    cookies_dict = requests.utils.dict_from_cookiejar(s.cookies)  # 登录后页面的cookie转化为dict
    #print("cookies is that ",cookies_dict)
    if ('.ASPXUSERDEMO' in  cookies_dict):  # 如果登录成功，cookie中会有.ASPXUSERDEMO字段值
        cookies = open('login_cookies', 'w')
        cookies.write(str(cookies_dict))  # 将cookie信息写入本地文件，其他模块直接访问文件可以绕过登录
        cookies.close()
        return s
    else:
            return None