Ricky_youngone的博客

这个就是一个综合型的应用了，这个需要扎实的基本功和对于函数调用的理解，然后根据函数的编写去做一个页面的爬取，我们要先分析好网址域名和后面的参数的组成规律，然后再去爬取，在这里的前提先了解，怎么找到这个网址，到浏览器里面检查的network，往豆瓣网站往下拉，去寻找一个含有list的文件，在里面找请求的url，找到如下。我们发现页面和start是有规律可循的。规律就是 （page - 1）* 20。

这个其实就是爬虫入门的爬取豆瓣网页的基本框架了，这个很是需要作为一个经典的参考价值。

这里就有一点要注意的是，要是你爬取下来的网站，你需要在post的请求数据，后面加上encode('utf-8'),防止爬取下来的数据解码，但是要是如果你的网站已经是unicode的格式了，那就不需要在encode('utf-8')这个格式了。

如果爬取网页的话，出现了百度安全认证，需要在User-Agent的基础下加上Cookie，这个同样也能在浏览器的检查里的network能够找到。

【代码】Python爬虫：urllib_get请求的quote的方法。

【代码】Python爬虫：urllib_请求对象的定制。

【代码】Python爬虫：urllib_下载。

【代码】Python爬虫：urllib_1个类型6个方法。