3、网页抓取入门

网页抓取入门

1. 网页抓取基础

在进行网页抓取时，我们需要了解一些基本概念和注意事项。例如，Google拥有一些域名，尽管Google本身就是做网页抓取业务的，但它经常会阻止网页爬虫。在抓取Google相关域名时要格外小心，因为它会封禁那些快速抓取其服务的IP地址，甚至可能会要求输入验证码。

1.1 抓取与爬取的区别

• 网页抓取器（Web Scraper） ：通常是为特定的网站或一组网站构建的，用于获取这些网站上的特定信息。如果网站结构或信息位置发生变化，抓取器可能需要修改。例如，为了查看当地一家喜欢的餐厅的每日特价信息，可以构建一个网页抓取器来抓取该餐厅网站上更新此信息的部分。
• 网页爬虫（Web Crawler） ：一般以通用的方式构建，可针对一系列顶级域名的网站或整个网络。爬虫可以用于收集更具体的信息，但通常用于在网络上爬行，从许多不同的网站或页面收集小而通用的信息，并跟随链接到其他页面。

1.2 下载网页

要抓取网页，首先需要下载它们。以下是一个使用Python的 urllib 模块下载URL的简单脚本：

import urllib.request
def download(url):
    return urllib.request.urlopen(url).read()

这个简单的函数在下载网页时可能会遇到无法控制的错误，例如请求的页面可能已不存在