requests+Google爬取80%网站的思想

requests+Google爬取80%网站的思想

1.requests相比urllib简单了许多，话不多说先来个官网看看：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
http://docs.python-requests.org/zh_CN/latest/user/advanced.html?

2.pip install requests

3.首先使用Google分析网站的数据，获取url的接口（接口是一个网站数据的真实来源）

举一个简单的例子(一点资讯)：

1.有些网站可以直接通过google查看网站源代码，然后使用python+正则获取想要的数据在这里插入图片描述；这种非常简单，但很多网站是不能这样用的，因为虽然可以查看网站源代码，但使用python获取数据的时候却发现无法获取数据。