Python+url2 爬虫技术

爬取分为，嗯，三个步骤大概，首先是用 python 的 url 库搭接网络连接部分，能够自动打开许多网页和下载它的 html，这个很简单，都是模板不用费脑子，然后是分析目标网站的 html，观察对应的要爬取的内容是怎么被包围在这些标签中的，然后是用 python 的正则表达式构建字段，从整个 html 里进行匹配，匹配成功了就输出，整个过程大致就是这样，关键是如何打开这些网址，以及如何匹配正确，就是这样。

在匹配之前，最好就是先用一个网页试着匹配一下，实验性的，不然匹配错了，输出一大堆错误的东西，也会降低效率

这回用的是 scrape 爬虫框架

这里有一点是，urllib2 现在与 urllib 合并了。。。然后如果你要用 urllib2 的话，它就是 urllib 里的 request，所以你单独倒一条：

Import urllib.request as urllib2

这样就可以愉快的玩耍啦！

然后可以这么写几句话看一下：

import urllib

import urllib.request as urllib2

import urllib3

response = urllib2.urlopen("http://www.smpeizi.com")

print(response.read())

就两句话，但是能传出来一大堆东西。

其实上面的 urlopen 参数可以传入一个 request 请求，它其实就是一个 Request 类的实例，构造时需要传入 Url,Data 等等的内容。比如上面的两行代码，我们可以这么改写：

request = urllib2.Request("http://www.pzzs168.com")

response = urllib2.urlopen(request)

print(response.read())

效果是一样的，但是会更加灵活，我们可以在构建 request 的时候填进许多内容，达到完全掌控网页的目的，因为现在的网页大多数都是动态的，因此我们往往会构建出非常复杂的 request

值得注意的是，在 python2 与 python3 中的 urlencode 的方法并不是在同一个地方。Python2 中提供了 urllib 和 urllib2 两个模块，urlencode 是在 urllib 下的，而在 python3 中只提供 urllib 和 urllib3 两个库，其中 urllib 包括了绝大多数功能，而 urllib3 只是作为一个拓展模块使用的。

然后，执行一下，报错了：

TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.

为什么会出现这种错误呢？上网一查，原来是 python2 与 python3 的版本问题导致的，现在网上大多还是 python2 的教程，所以用 python3 就会举步维艰，解决方法是在 urlencode 后面加上.encode (encoding=’UTF8’)// 就是这样

解决这个问题，然后又报错了，什么问题呢：

raise HTTPError(req.full_url, code, msg, hdrs, fp)

response = urllib2.urlopen("http://www.idiancai.com")

urllib.error.HTTPError: HTTP Error 405:

这个问题看起来是网络的问题，又在网上查了一下，405 是这个东西：

405 - 用来访问本页面的 HTTP 谓词不被允许（方法不被允许）

什么意思呢，就是有些网页在被访问的时候，服务器要求需要知道是什么操作系统，什么浏览器，甚至什么硬件信息，如果没有，它就会返回 405 错误，而这恰是爬虫所缺少的，怎么办呢？我们可以对其进行伪装：

values = {"username":"3256384696@qq.com","password":"XXXXXXXX",'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}

然后不出意料的是，又报错了， MMP，这回的错误的是：

AttributeError: 'bytes' object has no attribute 'items'

这是因为，python3 中，编码的时候区分了字符串和二进制，把 encode 改成 decode 就可以了