信息检索-搜索引擎的搭建（Lucene）

信息检索-搜索引擎的搭建（Lucene）

标签： 搜索引擎信息检索新闻lucene爬虫

2017-05-19 12:42 914人阅读 评论(0) 收藏 举报

本文章已收录于：

分类：

搜索引擎

版权声明：本文为博主原创文章，未经博主允许不得转载。

目录(?)[+]

1. 要求
2. 开发工具
3. 设计方案与过程
   1. 信息爬取
      1. 爬取策略与分析
      2. 爬取过程
   2. 索引构建
   3. 索引查询
   4. 前端查询
      1. 搜索效果

搜索引擎为信息检索课程的实验设计，爬取山东大学新闻网，使用lucene等开源工具搭建小型搜索引擎。

要求 :

1. Web网页信息抽取
   以山东大学新闻网为起点进行网页的循环爬取，保 持爬虫在 view.sdu.edu.cn之内(既只爬取这个站点的网页)，爬取的网页数量越多越好。

2. 索引构建
   对上一步爬取到的网页进行结构化预处理，包括基于模板的信息抽取、分字段解析、分词、构建索引等。

3. 检索排序
   对上一步构建的索引库进行查询，对于给定的查询，给出检索结果，明白排序的原理及方法。

4. 检索评价
   对于给定的测试查询，利用百度的检索结果作为基准，对自己的检索结果进行评价，计算自己结果的查准率、查全率、F1值。

开发工具

• Eclipse jdk1.8
• Tomcat 7.0
• Lucene4.3
• python3.6

代码托管地址：

设计方案与过程

1. 信息爬取

爬取策略与分析

通过分析发现，山大新闻网的新闻都通过分类存放在首页上方的的二级导航中，首先，我们只爬取二级导航。