qq_40357974的博客

urllib库是python3内置的HTTP请求库，urllib库的四大模块： urllib.request:请求模块 urllib.error:异常处理模块 urllib.parse:URL解析模块 urllib.robotparser:robots.txt解析模块 1.快速抓取网页 import urllib.request # 发送URL其你去，获取响应 reponse = urllib...

处理GET和POST请求 1.GET请求 import urllib.request import urllib.parse # 准备URL url = 'http://www.baidu.com/s?' # 准备字典参数 param = {'wd': 'douyuTV'} # 进行url编码 param_str = urllib.parse.urlencode(param) # 拼接URL u...

1.设置代理服务器 import urllib.request import random # 实现启用代理或不启用(定义变量，记录是否启用代理） proxy_switch = True # 代理列表 proxies_list = [ {'HTTP': '118.193.107.238:80'}, {'HTTP': '117.78.50.121:8118'}, {'HTTP': '118....

异常与捕获 URLError产生的原因主要有: **1.**没有连接网络 **2.**股务器连接失败 **3.**找不到指定的服务器 import urllib.request import urllib.error # 构建请求对象 request=urllib.request.Request('http://www.adadfwec.com') try: # 发送请求 respons...

1.requests库中提供了如下常用的类 requests.Request:表示请求对象,用于准备一个请求发送到服务器 requests.Response:表示响应对象,其中包含服务器对HTTP请求的响应 requests.session:表示请求会话,提供 Cookie持久性、连接池和配置 import requests # 准备url url = 'https://www.baidu.co...