python无脑搜索引擎实现<一>

越来越多没填的坑。而我还在开新的坑。。。。。。
这次实现了一个搜索引擎，语言为python，搜索内容为自己从知乎上面抓下来的10万个问题。仅搜索问题题目。

以下大概是搜索效果：

其实搜索引擎的建立基础流程也就那样，最主要的是大量，不不不，巨量的数据处理，巨量的算法，巨量的排序。

下面是流程分析：

一 爬取网页

这一块感觉没啥好说的， 就是学了两三天scrapy，当然其中很多的弯弯绕绕我也没搞懂，但是基本的使用确实能满足要求了。爬取使用了深度优先爬，本程序中，使用的方式是从五个种子问题开始，爬标题，url，html文档，获取当前页面中http://www.zhihu.com/question开头的网址。然后从获取的新的网址中进行新一轮的递归，从而完成深度优先的爬取。不过书上说广度优先爬取比较好，因为如果从首页开始爬，深度越浅，说明该页面越重要（有道理）。但是我们爬知乎的问题之间的关系都是平行的，所以不存在这个问题。

爬到的数据库用sqlite3存起来，不得不敬服一下女朋友在数据库上深厚的造诣，我是搞不定数据库的语法了T T。

保存结果用SQLiteSpy打开大概这样：

id就是自动增长的主键，也就是后面会说的docID，url是url，title是title（。。。），然后code是html代码，太长了后面自动没显示。之所以存html是因为。。反正都要把html爬下来，学校的校园网要钱，不存下来太浪费了，万一想做全文索引呢？

10w条数据，占了6G，女朋友爬的百度知道，也是10W，竟然爬了16G= =，流量在燃烧。