爬虫第二课---urllib

韩淼燃

于 2019-04-04 09:36:31 发布

阅读量306

点赞数

CC 4.0 BY-SA版权

分类专栏： python怕虫项目课程文章标签： urllib

本文链接：https://blog.youkuaiyun.com/weixin_36691991/article/details/89010811

python怕虫项目课程专栏收录该内容

18 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍Python的urllib标准库在爬虫中的应用，包括GET请求、处理HTTPResponse对象、管理Cookie、设置代理及URL处理。通过httpbin.org进行实践，讲解如何读取响应内容、处理编码问题，并探讨错误处理策略，增强代码健壮性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request

'''
普通请求，不设置headers
'''
# url = 'http://httpbin.org/get'#或post
# #urlopen    发起请求
# # req = urllib.request.urlopen(url)#get
# req = urllib.request.urlopen(url,data='username=huo'.encode(),timeout=2)#参数data就是post请求，timeout设置超时
# print(req.read().decode())

'''
设置headers
'''
urls = 'https://www.jianshu.com'
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"
}
req = urllib.request.Request(urls,headers=headers)
r = urllib.request.urlopen(req)
print(r.read().decode())


import urllib.request
from http import cookiejar
#创建一个cookie对象
cookie = cookiejar.CookieJar()
filename

了解本专栏

超级会员免费看