- 博客(3)
- 收藏
- 关注
原创 如何完成一个完整的网站信息爬取脚本
本文介绍了实现网站数据爬取的完整流程与脚本配置方法。主要内容包括:1. 数据准备阶段需获取登录和搜索接口的关键信息;2. 脚本配置需设置登录URL、账号密码、搜索参数等;3. 核心功能函数设计:创建会话保持登录状态、执行登录验证、获取并解析搜索结果、保存为Excel/JSON文件。脚本采用requests.Session()维护会话,设置请求头伪装浏览器,支持自动创建保存目录并生成带时间戳的文件名,最终输出包含搜索数据和统计报告的结构化文件。整个过程注重错误处理和用户友好提示。(AI提取)
2025-10-29 11:11:09
1065
原创 用例管理框架pytest
结合sele,reque,appium实现web,接口,app自动化。Allure生成非常美观的报告以及和jenkins实现持续集成pytest;生成html报告pytest-xdist 多线程执行pytest-ordering 控制用例的执行顺序pytest-rerunfailures 失败用例重跑pytest-base-url 基础路径allure-pytest 生成allure报告---------上述均放到requirements.txt里面,通过以下命令安装。
2024-06-04 17:17:45
983
原创 Requests库以及底层方法调用逻辑
request.request()调用的是session.request方法。前者的每个请求都是独立的,后者自动的去关联所有请求的cookie信息。
2024-06-04 17:16:27
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅