qi85481455的博客

文章目录1、文件上传2、Cookies(cookies)3、会话维持(Session)4、SSL验证(verify)5、代理设置（proxies）6、超时设置（timeout）7、身份认证（auth）8、Prepared Request   上一篇我们记录了requests的GET、POST请求和Response，这篇我们记录requests库的一些高级用法，比如文件上传，Cookies设置，代理设置。 1、文件上传 import requests mfile = {'file': open("D:\\f

文章目录一、requests安装二、基本使用用例三、GET请求3.1、GET基本请求3.4、抓取二进制数据四、POST请求五、响应 一、requests安装 Github : https:github.com/requests/requests 官方文档： http://www.python-requests.org PyPI :https://pypi.python.org/pypi/requests pip安装 pip install requests wheel安装 安装wheel库 pip in

文章目录一、Robots协议二、爬虫名称三、robotparser 一、Robots协议   Robots协议也称作爬虫协议，机器人协议，网络爬虫排除协议，用来告诉爬虫哪些页面是可以爬取的，哪些页面是不可爬取的。它通常是一个robots.txt的文本文件，一般放在网站的根目录上。   当爬虫访问一个站点的时候，会首先检查这个站点目录是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围进行爬取。如果没有找到这个文件，搜索爬虫会访问所有可直接访问的页面。 User-agent:* Dis

文章目录1、说明2、urlparse()3、urlunparse()4、urlspilt()5、urlunspilt()6、urljoin() 1、说明   urllib库提供了parse模块， 它定义了处理url的标准接口，实现url各部分饿抽取，合并以及链接的转换。 2、urlparse() 实现URL的识别和分段 from urllib.parse import urlparse result = urlparse("http://wwww,baidu.com/index.html;user?id=5

文章目录一、说明二、URLError三、HTTPError 一、说明   在我们请求的过程中会遇到网络不好或者程序连接有问题的情况，如果这些异常不处理，程序可能会因为报错而终止运行。 二、URLError   URLError类来自于urllib库的error模块，是error异常模块中的基类，由request模块中的异常都可以通过这个类处理。 from urllib import request,error try: responde = request.urlopen("https://ww

文章目录一、官方地址二、urllib库说明三、发送请求3.1、urlopen()3.2、request()3.3、高级用法（1）、BaseHandler类（2）、验证（3）、代理（4）、Cookies 一、官方地址 https://docs.python.org/3/library/urllib.html 二、urllib库说明 urllib是Python内置的HTTP请求库，它主要包含4个模块 request： 最基本的HTTP模块，用来模拟发送请求 error：异常处理模块，如果出现请求错误，可以捕获

文章目录一、官网网址二、下载地址三、安装步骤四、坑位 一、官网网址 https://www.mysql.com/ 二、下载地址 https://dev.mysql.com/downloads/mysql/ 三、安装步骤 （1）、从下载页面选择自己对应的操作系统和需要的版本（这里步骤以Window为准） （2）、下周压缩包后，进行解压 （3）、在mysql目录下，bin目录同级下，新建一个文件mysql.ini mysql.ini中配置一些基础信息 [client] # 设置mysql客户端默认字符集 de