python基础学习第五课,大批量获取网页数据基础，requests模块尝试

2018-02-19  滑稽怪  趣说python

（如果有帮助可以关注我的微信公众号 趣说python 会陆续公布django和爬虫专栏哦）

其实本来这里按常规思路呢，我们要给大家讲for循环的

但是作为一个不按常理出牌的公众号，我准备先讲点有意思的东西

一 扩展

这个已经超过了我们当前的进度了啦，我为什么要提前讲这个模块呢？

现在是一个大数据的年代，网上有很多数据都是有所价值的

但是只有数据达到一定数量级，比如几十万，才会有所价值

但是别人的数据是不会免费提供给我们的，我们如何获得数据呢，

那么我们可以利用python来大规模爬取它的网页，来获得数据，这就叫爬虫

这之间的获取网页，提取数据，存储，反爬虫措施的应对，数据量的提升如何保证效率，如何大规模爬取，构造了一个特殊的岗位，爬虫工程师

以后我会推出一个专题来讲这方面,我们可以爬电影，爬淘宝，爬斗鱼弹幕，爬亚马逊，爬豆瓣，这些都会在以后讲到

这里我们来介绍一个起点吧,requests模块

-----------------------------------------

一 下载包环节

我们平常都是用浏览器访问网页的，那我们能不能通过python来访问网页呢？

有的，叫做requests模块，什么叫做模块呢？模块就是别人写好的代码

我们下载下来，使用，让我们用简单的方法实现复杂的功能咯

我们点击这个哦

进入这里哦

点击右边那个绿色的+号

查询到requests,点击左下角的install 等待安装完成即可

二 导入模块

这样既可哦 

requests是一个模块，一个很大的包裹，里面会有很多很多的方法，

使用模块里面的方法

requests.method_name()

这样就可以看到我们获得的页面了啦

但是如果你执行下面的语句

就会拿到这种数据啦，这是因为知乎屏蔽掉了我们的爬虫哦

这个我们后期爬虫教程会讲啦，让我们回归基础吧，只有基础达到了，才能做有意思的事情