python学习3

这周开始接触关于python爬虫程序方面的知识，这相比我以前学习的C语言程序简直就是高大上。刚开始接触这么高级的程序，一时间我还手足无措- -。

首先我们要抓取网页数据，这里要用到urllib、urllib2，这两个库用法差不多，但urllib2提供更多的功能，是urllib的升级，因此一般使用后者。首先导入urllib2，然后我们就可以抓取网页的数据了：

>>>html = urllib2.urlopen('http://www.baidu.com').read()

这个时候我们就把百度首页的抓取出来并读入了html中

>>>print html

print后我们就可以看到获取的网页数据了- -

不过我在抓取网页数据并输出后，有乱码出现的情况，后来我了解到有个chardet的库可以解决这个问题，它可以获取网页的编码，因此我们可以先将网页解码然后用utf-8再进行编码，乱码情况就好了。

>>>code = chardet.detect(html).get('encoding','utf-8')

>>>html = html.decode(code,'ignore').encode('utf-8')

这样转换之后刚开始出现的乱码情况就没有了，不过chardet需要我们自己去下载并安装- -。

不过后来看到老师介绍的一个request模块，我便去看了一下它的功能，发现获取网页数据以及解决乱码问题变得更简单了，requests.get(url)获取网页数据，输出时有自带转码的输出形式，妈妈再也不担心我的程序会出现乱码情况啦！目前仍在学习有关爬虫方面的知识中...fighting! - -