URL解析与Python网络请求-优快云博客

URL
统一资源定位符，是对互联网上得到的资源位置和访问方法的表示，是网上标准资源的地址。由三部分组成：①协议，②存有该资源的主机IP地址，③主机资源的具体地址。

import urllib

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read())

urlopen(url, data, timeout)
url：url
data：访问url时传送的数据，默认None
timeout：超时时间，默认socket_GLOBAL_DEFAULT_TIMEOUT

构造request请求

request = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(request)
print(response.read())

POST，GET数据传送
动态网页，动态传递参数，做出响应。
把数据用户名和密码传递到url中，得到服务器处理之后的响应。
数据传送分为POSI和GET模式。
POST：不会在网址上显示所有的参数。
GET：以连接的形式访问，连接中包含了所有的参数，可以直观的看到自己提交的内容。

POST方式：

values = {'username':'xxxqq.com','password':'xxx'}
data = urllib.parse.urlencode(values)
url = 'http://blog.youkuaiyun.com'
request = urllib.request.Request(url, data)
response = urllib.request.urlopen(request)
print(response.read())

GET方式：

values = {'username':'xxxqq.com','password':'xxx'}
data = urllib.parse.urlencode(values)
url = 'http://blog.youkuaiyun.com'
url = url + '?' + data
request = urllib.request.Request(url)
response = urllib.request.urlopen(request)
print(response.read())

agent：请求身份

url = 'http://blog.youkuaiyun.com/login'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
              (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
values = {'username':'cxk','password':'xxxx'}
headers = {'user_agent':user_agent}
data = urllib.parse.urlencode(values)
request = urllib.request.Request(url, data)
response = urllib.request.urlopen(request)
print(response.read())

对付反盗链，服务器会识别headers中的refer是不是自己。
headers = {‘User_Agent’:’‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36’,
‘Refer’:‘http:/’}
User_Agent：有些服务器或Proxy会通过该值判断是否是浏览器发出的请求。
Content_Type：在使用REST接口时，服务器会检查该值来确定HTTP body中的解析方式。

Proxy代理的设置
urllib.request会使用环境变量http_proxy。
服务器会检测Ip的访问次数，所以使用代理服务器。

enable_proxy = True
proxy_handler = urllib.request.ProxyHandler({'http':'http://some_proxy.com:8080'})
null_proxy_handler = urllib.request.ProxyHandler({})
if enable_proxy:
    opener = urllib.request.build_opener(proxy_handler)
else: 
    opener = urllib.request.build_opener(null_proxy_handler)

urllib.request.build_opener(opener)

URLError
产生原因：①网络无连接，②连接不上服务器，③服务器不存在。
使用try-except保围并捕获异常。

request = urllib.request.Request('http://www.xxxx.com')
try:
    urllib.request.urlopen(request)
except urllib.error.URLError as e: 
    print(e.reason)

HTTPError
在领用urlopen发出请求，服务器对应一个应答对象response，其中包含数字状态码，对于其他不能处理的，URLopen产生一个HTTPError，对应的状态码返回状态。

req = urllib.request.Request('http://blog.youkuaiyun.com/cqcre')
try:
    urllib.request.urlopen(req)
except urllib.error.HTTPError as e: 
    print(e.code, e.reason)

状态码：
100：继续客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。

101：转换协议在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。

102：继续处理由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。

200：请求成功处理方式：获得响应的内容，进行处理

201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到处理方式：爬虫中不会遇到

202：请求被接受，但处理尚未完成处理方式：阻塞等待

204：服务器端已经实现了请求，但是没有返回新的信息。如果客户是用户代理，则无须为此更新自身的文档视图。处理方式：丢弃

300：该状态码不被HTTP/1.0的应用程序直接使用，只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃

301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源处理方式：重定向到分配的URL

302：请求到的资源在一个不同的URL处临时保存处理方式：重定向到临时的URL

304：请求的资源未更新处理方式：丢弃

400：非法请求处理方式：丢弃

401：未授权处理方式：丢弃

403：禁止处理方式：丢弃

404：没有找到处理方式：丢弃

500：服务器内部错误服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。

501：服务器无法识别服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。

502：错误网关作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。

503：服务出错由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。

HTTPError的父类是URLError，父类的异常可以写在子类后面，如果子类捕获不到，可以捕获父类的异常。

try:
    urllib.request.urlopen(req)
except urllib.error.HTTPError as e: 
    e.code
except urllib.error.URLError as e: 
    e.reason
else:
    print('ok')

爬虫学习笔记