- 博客(2)
- 收藏
- 关注
RSS订阅原创 当爬虫遇上重定向
爬虫之处理重定向问题 问题导论 什么是重定向？ 简单的说，重定向就是请求被转发到其他页面去了 在生活中，当我们打开一个网址时，往往需要等待稍长一段时间，而最终 的网址也发生的 变化，这就是重定向。如果我们日常用浏览器浏览网站倒是没有什么问题，但是，当我们使用爬虫来爬取这样的页面时，真正的网址就会被忽略。那么，我们该如何处理这样的情况呢？ 实例分析 下面我们以两个个真实的网址，我们要提取它...
2018-10-14 23:38:38
4681
1
原创 python学习之urllib使用小结
urllib库是python做爬虫中的基础库，也是许多初学者最先入手的地方，下面是我在学习和使用过程中的一些小结 import urllib.request as ur 用于打开网址 import urllib.error as ue 用于处理异常 import urllib.parse as up 用于构造请求 import http.cookiejar as hc 用于cookies的设置 ...
2018-10-08 02:17:37
272
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人