
爬虫
carry_1024
这个作者很懒,什么都没留下…
展开
-
Python爬虫之requests高级
1. 文件上传我们知道requests可以模拟提交一些数据。假如有的网站需要上传文件,我们也可以用它来实现,这非常简单,示例如下:import requestsfiles = {'file': open('favicon.ico', 'rb')}r = requests.post("http://httpbin.org/post", files=files)print(r.text)...转载 2020-01-19 17:24:38 · 250 阅读 · 0 评论 -
python之json库的使用
使用json库之前需要确保安装完成json库pip install jsonjson库共有4个常用方法:load()loads()dump()dumps()相同点dump 和 dumps 都实现了序列化load 和 loads 都实现反序列化变量从内存中变成可存储或传输的过程称之为序列化序列化是将对象状态转化为可保存或可传输格式的过程。变量内容从序列化的对象重新读到...原创 2020-01-18 10:31:25 · 1105 阅读 · 0 评论 -
Python爬虫之urlib.parse
1.urlencode()这里我们介绍一个常用的方法——urlencode(),它在构造GET请求参数的时候非常有用,示例如下:import urllib.parsedict = { 'wd':'周杰伦'}base_url = "http://www.baidu.com/s?"url = base_url + urllib.parse.urlencode(dict)print...原创 2020-01-17 20:36:09 · 309 阅读 · 0 评论 -
python爬虫之urllib.request.Request()
它的构造方法如下:class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)第一个参数url用于请求URL,这是必传参数,其他都是可选参数。第二个参数data如果要传,必须传bytes(字节流)类型的。如果它是字典,可以先用...转载 2020-01-17 19:55:35 · 2758 阅读 · 0 评论 -
python3中的urllib.request.urlopen()
urllib.request模块提供了最基本的构造HTTP请求的方法,利用它可以模拟浏览器的一个请求发起过程,同时它还带有处理授权验证(authenticaton)、重定向(redirection)、浏览器Cookies以及其他内容。简单例子:import urllib.request response = urllib.request.urlopen('https://www.pytho...转载 2020-01-17 19:41:15 · 3391 阅读 · 0 评论 -
python爬虫之urllib3
Urllib3是一个功能强大,条理清晰,用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库urllib里所没有的重要特性:线程安全连接池客户端SSL/TLS验证文件分部编码上传协助处理重复请求和HTTP重定位支持压缩编码支持HTTP和SOCKS代理一、get请求urllib3主要使用连接池进行网络请...转载 2020-01-17 15:58:08 · 1128 阅读 · 0 评论