python写的爬虫抓取到的网页是乱码解决

在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，怎么办？

下面所说的都是针对python2.7

如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码。

#chardet 需要下载安装

import chardet

#抓取网页html

html_1 = urllib2.urlopen(line,timeout=120).read()

#print html_1

mychar=chardet.detect(html_1)

#print mychar

bianma=mychar['encoding']

if bianma == 'utf-8' or bianma == 'UTF-8':

  #html=html.decode('utf-8','ignore').encode('utf-8')

 html=html_1

else :

  html =html_1.decode('gb2312','ignore').encode('utf-8')

有以上处理，整个html就不会是乱码。

本文转自 baiying 51CTO博客，原文链接：http://blog.51cto.com/baiying/1162617，如需转载请自行联系原作者