weixin_39313241的博客

文章目录urlliburlopen爬取http请求response 对象data 参数timeout参数RequesterrorurlparseurlencodequoteunquoteRobots 协议urllib3处理大文件设置代理设置请求头图片上传实际案例(爬取小姐姐图片)案例中遇到的问题1、无法打开控制台查看网页代码macOS python urllib3 HTTPS请求证书校验报错urllib在 Python 2 中，有 urllib 和 urllib2 两个库来实现请求的发送。而在 Pyt

文章目录爬虫基础原理爬虫的概念爬虫三部曲发起请求提取信息保存数据爬虫最核心的httpURI 和 URL超文本http 和 httpshttp请求请求方法请求地址请求头http响应响应状态码响应头响应体cookie 和session爬虫基础原理爬虫的概念网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。爬虫三部曲发起请求提取信息保存数据