抓取sogou新闻中的编码问题

问题：

我们的新闻经常和百度搜狗等新闻进行对比，于是有个自动化评测的平台。但是我们在抓sogou的页面的时候发现其编码明明写了GBK，但是在python中却用GBK不能解码！

解决方案：

在python使用GB18030编码解码出来，然后再编码成UTF-8传给我们的ParserService做解析。

response = urllib2.urlopen(req).read().decode("GB18030").encode('utf-8')

原因：

在中文编码上面，有如下几个编码集：GB2312 < GBK < GB18030，后者兼容前者。

但是sogou的页面在meta中声称自己是GBK编码，事实上页面中用了超出GBK编码集范围的字符，一些解码工具可以自己尝试去切换编码，但是这个python的decode显然不行。

所以我们指定正确的编码即可解码成功。