爬虫可以简单分为几步:抓取页面、分析页面、存储数据。
在第一步抓取页面的过程中,我们就需要模拟浏览器向服务器发出请求,所以需要用到一些 Python 库来实现 HTTP 请求操作,在本书中我们用到的第三方库有 Requests、Selenium、Aiotttp 等。
在本节我们介绍一下这些请求库的安装方法。
1.1.1 Requests的安装
由于 Requests 属于第三方库,也就是 Python 默认不会自带这个库,需要我们手动去安装,下面我们首先看一下它的安装过程。
1. 相关链接
- GitHub:https://github.com/requests/r…
- PyPy:https://pypi.python.org/pypi/…
- 官方文档:http://www.python-requests.org
- 中文文档:http://docs.python-requests.o…
2. 安装
pip3 install requests
3. 验证安装
为了验证库是否已经安装成功,可以在命令行下测试一下:
$ python3
>>> import

本文详细介绍了Python3网络爬虫中常用请求库Requests、自动化测试工具Selenium以及Selenium配合使用的ChromeDriver的安装步骤。内容包括相关链接、安装方法、验证安装以及MAC环境下ChromeDriver的安装。通过本文,读者将学会如何配置环境以进行网页抓取。
最低0.47元/天 解锁文章
826

被折叠的 条评论
为什么被折叠?



