Python爬虫学习笔记之基础知识

1.什么是爬虫

网络爬虫是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

2.使用urllib爬取网页内容

核心代码：reponse = urllib.request.urlopen("http://www.baidu.com/")

代码解析：使用urllib.request的urlopen方法，该方法接收一个url作为参数，返回一个response对象。response对象有一个read()方法，该方法解读response对象的内容。

使用print(response.read())命令即可将内容打印出来。

3.连接URL的常见异常

（1）URLError

产生原因：网络无连接/无法连接到指定的服务器/服务器不存在

为了使程序更加健壮，需要在连接网络的代码处添加try-excep语句，捕获异常并进行处理。

（2）HTTPError

HTTPError是URLError的一个子类，当无法处理发送的请求时，返回一个HTTPError。

4.