网页爬虫的基本框架

网页爬虫的基本框架就是以一个门户网站的主页面为基础，爬取其中的url地址，一级一级的爬取下去，最终将爬取回来的网页放入网页库中，

然后再将网页库的信息建立倒排索引，也就是关键词到网页url的索引信息，通过搜索关键词，我们就能访问到所需要的网页了，也就是搜索引擎的工作原理。