爬虫-requests请求网页总结

相关基本常识解释

User_Agent:浏览器名称，修改版本以及版本号可爬取手机页面

cookie:保存浏览器本地用户信息（容量有限）

session:保存在对方服务器上，比cookie安全

referer:当前页面跳转之前的页面

Upgrade-Insecure-Requests:将http升级为https请求协议

X-requested-wth:XMLHTTPRequests,是Ajax异步请求

post请求类型的网页

import requests

response=requests.get(url,headers=headers)

#注意post请求的网页必须添加上data参数
response=requests.post(url,data=data,headers=headers)

response.status-code:请求结果状态码

200：请求成功

302、307：临时转移至新的URL

404：not found

500：服务器内部错误（也可能是反爬措施）