网络爬虫的第一步就是根据URL,获取网页的HTML信息。在Python3中,可以使用urllib.request和requests进行网页爬取。
(1)准备所需库
我们需要准备一款名为BeautifulSoup(网页解析)的开源库,用于对下载的网页进行解析,我们是用的是PyCharm编译环境所以可以直接下载该开源库。
- urllib库是python内置的,无需我们额外安装,只要安装了Python就可以使用这个库。
- requests库是第三方库,需要我们自己安装。
第三方库安装步骤如下:
选择File->Settings
打开Project:PythonProject下的Project interpreter
点击加号添加新的库
输入bs4选择bs4点击Install Packge进行下载
小知识:requests库的github地址:https://github.com/requests/requests
步骤如下:
在cmd中,使用如下指令安装requests:
pip install requests
或者:
easy_install requests
requests常用方法
官方中文教程地址:
http://docs.python-requests.org/zh_CN/latest/user/quickstart.html