2025 热爱与开始

原文地址：http://www.cnblogs.com/agileblog/p/3615250.html 关于爬虫乱码有很多群友的各式各样的问题，下边简单总结下关于网络爬虫的乱码处理。注意，这里不仅是中文乱码，还包括一些如日文、韩文 、俄文、藏文之类的乱码处理，因为他们的解决方式 是一致的，故在此统一说明。     网络爬虫，有两种选择，一是选择nutch、hetriex，二是

转自：http://www.jianshu.com/p/2c2781462902 做项目就伴随着一个问题--数据来源。在网络数据获取的过程，考虑到数据的动态下载需要爬虫。这也是必经之路吧。 我在运用urllib2做相当简单的爬虫入门实验的时候，出现编码以及压缩等问题。这一个坑很多人踩过，甚至有人处理编码问题会出现一种情况，就是5分钟开发完成，25分钟处理编码问题。更不用说数据压缩，数据

python的简单，让我很是喜欢。所以在练习爬虫和接口测试的时候，使用python来帮助进行网络请求。 Python2.x中会使用的标准库有urllib、urllib2； Python3.x中使用的就只有urllib（是urllib和urllib2的结合）； 其实还有很实用的requests第三方库，什么框架类的就不用再多说了，基础最重要。