Python_1981的博客

2、案例：京东的Robots协议。三、Robots协议的基本语法。四、Robots协议的遵守方式。2、对Robots协议的理解。1、Robots协议的使用。

通过这2个方法，对网络爬虫的道德和技术进行有效的限制。二、网络爬虫引发的问题。3、网络爬虫泄露个人隐私。1、网络爬虫的“骚扰”2、网络爬虫的法律风险。

其中，request()是 基础方法，其他6个方法都是基于request()的，但最常用的是get() 和 head()三、get(): 获取某一个url链接的相关资源。一、Requests库的7个主要方法。二、request()八、delete()

1、requests.head(): 用很少的流量获取网络资源的概要信息。三、http协议方法与Requests库方法一一对应。其中，patch比put更节省网络带宽。一、Requests库的7个主要方法。

在使用Requests库进行页面访问时，经常使用request.get(url)获取指定URL的相关内容，但并不是总能正确获取，因为网络连接有风险，这时对于这样的语句的异常处理很重要。r.raise_for_status(): 判断返回的Response类型的状态是不是200，200表示返回页面的内容是正确的；三、Response对象返回了 页面所有内容，也提供一个方法，专门与异常打交道。通用代码框架是一组代码，可以准确可靠地爬取网页上的内容。四、爬取网页的通用代码框架。

所以，一般用encoding不能正确解析中文页面内容时，用apparent_encoding的值替换encoding。Requests库的get()方法源代码：get方法实际上使用request方法来封装, 也就是说，除了request方法是基础方法，其他6个方法都是通过调用request方法实现的，即实际上只有一个方法。Response 对象包含服务器返回的所有信息，还包含了向服务器请求的request信息。三、Requests库的get()方法：获得一个网页。四、Requests库的2个主要对象。

Eclipse是早年专门为Java程序员使用的开发工具，但可以通过PyDev配置python的开发环境，需要自定义很多参数，比较费劲。Sublime Text是专为程序员开发的第三方专用编程工具，工具不注册时免费使用，免费版本和收费版本功能相同。其中IDLE是python自带的/默认的/常用的/入门级编写工具，包含交互式和文件式。比较熟悉VSCode的可以通过PTVS来配置基于VSCode的python编程环境。python专业的/通用的集成开发环境，使用简单。适用于：专业编程体验/多种编程风格。