Python爬虫入门教程 5-100 27270图片爬取

获取待爬取页面

今天继续爬取一个网站，http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬，so我们下载的代码有些地方处理的也不是很到位，大家重点学习思路，有啥建议可以在评论的地方跟我说说。

为了以后的网络请求操作方向，我们这次简单的进行一些代码的封装操作。

在这里你可以先去安装一个叫做 retrying 的模块

pip install retrying

这个模块的具体使用，自己去百度吧。嘿嘿哒~

在这里我使用了一个随机产生user_agent的方法

import requests
from retrying import retry
import random
import datetime