4.4 -4.5

最新推荐文章于 2025-08-22 08:41:08 发布

转载最新推荐文章于 2025-08-22 08:41:08 发布 · 75 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5ca5b45b5188251041397736

文章标签：

#移动开发 #json #操作系统

这时候得到的是bytes流

修改后用decode（）解码

（备注：相应的用encode（）将str转为字节流）

1. urlopen 的返回对象

http code

201-206都表示服务器成功处理了请求的状态代码，说明网页可以正常访问。

    200（成功）  服务器已成功处理了请求。通常，这表示服务器提供了请求的网页。
    201（已创建）  请求成功且服务器已创建了新的资源。 
    202（已接受）  服务器已接受了请求，但尚未对其进行处理。 
    203（非授权信息）  服务器已成功处理了请求，但返回了可能来自另一来源的信息。 
    204（无内容）  服务器成功处理了请求，但未返回任何内容。 
    205（重置内容） 服务器成功处理了请求，但未返回任何内容。与 204 响应不同，此响应要求请求者重置文档视图（例如清除表单内容以输入新内容）。 
    206（部分内容）  服务器成功处理了部分 GET 请求。

    300-3007表示的意思是：要完成请求，您需要进一步进行操作。通常，这些状态代码是永远重定向的。

    300（多种选择）  服务器根据请求可执行多种操作。服务器可根据请求者 来选择一项操作，或提供操作列表供其选择。 

    301（永久移动）  请求的网页已被永久移动到新位置。服务器返回此响应时，会自动将请求者转到新位置。您应使用此代码通知搜索引擎蜘蛛网页或网站已被永久移动到新位置。 
    302（临时移动） 服务器目前正从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。会自动将请求者转到不同的位置。但由于搜索引擎会继续抓取原有位置并将其编入索引，因此您不应使用此代码来告诉搜索引擎页面或网站已被移动。 
    303（查看其他位置） 当请求者应对不同的位置进行单独的 GET 请求以检索响应时，服务器会返回此代码。对于除 HEAD 请求之外的所有请求，服务器会自动转到其他位置。 
    304（未修改） 自从上次请求后，请求的网页未被修改过。服务器返回此响应时，不会返回网页内容。

    如果网页自请求者上次请求后再也没有更改过，您应当将服务器配置为返回此响应。由于服务器可以告诉 搜索引擎自从上次抓取后网页没有更改过，因此可节省带宽和开销。 

    305（使用代理） 请求者只能使用代理访问请求的网页。如果服务器返回此响应，那么，服务器还会指明请求者应当使用的代理。 
    307（临时重定向）  服务器目前正从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。会自动将请求者转到不同的位置。但由于搜索引擎会继续抓取原有位置并将其编入索引，因此您不应使用此代码来告诉搜索引擎某个页面或网站已被移动。

    4XXHTTP状态码表示请求可能出错，会妨碍服务器的处理。

    400（错误请求） 服务器不理解请求的语法。 

    401（身份验证错误） 此页要求授权。您可能不希望将此网页纳入索引。 

    403（禁止） 服务器拒绝请求。

    404（未找到） 服务器找不到请求的网页。例如，对于服务器上不存在的网页经常会返回此代码。

    例如：http://www.0631abc.com/20100aaaa，就会进入404错误页面

    405（方法禁用） 禁用请求中指定的方法。

    406（不接受） 无法使用请求的内容特性响应请求的网页。 

    407（需要代理授权） 此状态码与 401 类似，但指定请求者必须授权使用代理。如果服务器返回此响应，还表示请求者应当使用代理。 

    408（请求超时） 服务器等候请求时发生超时。 

    409（冲突） 服务器在完成请求时发生冲突。服务器必须在响应中包含有关冲突的信息。服务器在响应与前一个请求相冲突的 PUT 请求时可能会返回此代码，以及两个请求的差异列表。 

    410（已删除） 请求的资源永久删除后，服务器返回此响应。该代码与 404（未找到）代码相似，但在资源以前存在而现在不存在的情况下，有时会用来替代 404 代码。如果资源已永久删除，您应当使用 301 指定资源的新位置。 

    411（需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。 

    412（未满足前提条件） 服务器未满足请求者在请求中设置的其中一个前提条件。 

    413（请求实体过大） 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。 

    414（请求的 URI 过长） 请求的 URI（通常为网址）过长，服务器无法处理。 

    415（不支持的媒体类型） 请求的格式不受请求页面的支持。 

    416（请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态码。 

    417（未满足期望值） 服务器未满足"期望"请求标头字段的要求。

    500至505表示的意思是：服务器在尝试处理请求时发生内部错误。这些错误可能是服务器本身的错误，而不是请求出错。

    500（服务器内部错误）  服务器遇到错误，无法完成请求。 

    501（尚未实施） 服务器不具备完成请求的功能。例如，当服务器无法识别请求方法时，服务器可能会返回此代码。 

    502（错误网关） 服务器作为网关或代理，从上游服务器收到了无效的响应。 

    503（服务不可用） 目前无法使用服务器（由于超载或进行停机维护）。通常，这只是一种暂时的状态。 

    504（网关超时）  服务器作为网关或代理，未及时从上游服务器接收请求。 

    505（HTTP 版本不受支持） 服务器不支持请求中所使用的 HTTP 协议版本。
复制代码

2. request.data 的使用

3. request.Request

（例如urlopen就不能用headers）

4. urllib.error

出现错误时

URLError

（知不道改为找不到）

HTTPError 是URLError的子类

HTTPError与URLError两者的区别：

HTTPError是对应的HTTP请求的返回码错误，如果返回的错误码是400以上的，则引发HTTPError
URLError对应的一般是网络出现问题，包括url问题
隶属关系，OSError-URLError-HTTPError

5.UserAgent

不同设备、不同浏览器的UserAgent都不一样

常见的UA值

======PC端=======

chrome Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11 Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16

Firefox Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0 Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10

Opera Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60 Opera/8.0 (Windows NT 5.1; U; en) Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50

Safari Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2

360 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36 Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko

QQ浏览器 Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400) Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)

sogou浏览器 Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)

UC浏览器 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36

======移动端=======

IPhone Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5

IPAD Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5 Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5

Android Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1 Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1

QQ浏览器 Android版本 MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1

Android Opera Mobile Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10

Android Pad Moto Xoom Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13

作者：肖朋伟

来源：优快云

原文：blog.youkuaiyun.com/qq_40147863…

对比一下heads方法和add_header方法：

    #使用head方法伪装UA
    headers = {}
    headers['User-Agent']="Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5"
    req = request.Request(url,headers=headers)

    # 使用add_head方法伪装UA
    req = request.Request(url)
    # 括号中是key，value的形式
    req.add_header('User-Agent',"Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5")
复制代码

6.ProxyHandler处理（代理服务器）

7. cookie & session

8. cookie 和 session的区别

9. session的存放位置

使用cookie登录

（案例v12我没跑，因为我并不想注册人人网的账号，对不起）

10. 将cookie保存到变量中

11. 获取cookie保存到文件中

用到FileCookieJar对象的子类MozillaCookieJar来实现

12.从文件中获取cookie并访问

cookie保存在自己本地文件，可从文件中获取cookie并对网站进行访问

！！各种CookieJar的区别！！

CookieJar类的子类：

CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

FileCookieJar：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。

MozillaCookieJar：从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。

LWPCookieJar：从FileCookieJar派生而来，创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。

作者：FlyXhc 链接：www.jianshu.com/p/28c3a9cd8… 来源：简书简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

13. SSL

使用之前要 import ssl

如果遇到不信任的证书网页

ssl._create_default_https_context = ssl._create_unverified_context()

可通过这个代码来进行单独处理，从而继续访问该网页

14. js加密

'''
破解有道加密
'''

from urllib import request,parse

def youdao(key):
    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

    data = {
        "i": "boy",
        "from": "AUTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": "15544720018235",
        "sign": "21d42ccefdd4e20b39a11755cb29600d",
        "ts": "1554472001823",
        "bv": "363eb5a1de8cfbadd0cd78bd6bd43bee",
        "doctype": "json",
        "version": "2.1",
        "keyfrom": "fanyi.web",
        "action": "FY_BY_REALTlME",
        "typoResult": "false"
    }

    #参数data需要时bytes格式
    data = parse.urlencode(data).encode()

    headers = {
        "Accept": "application/json,text/javascript,*/*;q = 0.01",
        "Accept - Encoding":"gzip,deflate",
        "Accept - Language":"zh-CN,zh;q=0.9",
        "Connection":"keep-alive",
        "Content - Length":"257",
        "Content - Type":"application/x-www-form-urlencoded;charset=UTF-8",
        "Cookie":"OUTFOX_SEARCH_USER_ID=-1038966429@10.169.0.84;JSESSIONID=aaaTs65ItC9Uh6mIQVTNw;OUTFOX_SEARCH_USER_ID_NCOO=1155610356.499111;___rl__test__cookies=1554472001804",
        "Host":"fanyi.youdao.com",
        "Origin":"http://fanyi.youdao.com",
        "Referer":"http://fanyi.youdao.com/",
        "User - Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/71.0.3578.98Safari/537.36",
        "X - Requested - With":"XMLHttpRequest"
    }

    req = request.Request(url=url,headers=headers,data=data)
    rsp = request.urlopen(req)
    html = rsp.read().decode()
    print(html)

if __name__ == '__main__':
    youdao("boy")
复制代码